Loni na podzim, poté, co si bývalý vědecký pracovník Uberu Jerry Liu pohrál s modelem AI pro generování textu GPT-3 od OpenAI – předchůdcem GPT-4 – objevil to, co popisuje jako „omezení“ týkající se schopnosti modelu pracovat se soukromými daty (např. osobní soubory). Aby to vyřešil, spustil projekt s otevřeným zdrojovým kódem, LlamaIndex, navržený k odemknutí možností a případů použití velkých jazykových modelů (LLM), jako jsou GPT-3 a GPT-4.
„LLM nabízejí neuvěřitelné možnosti pro extrakci znalostí a uvažování – dokážou odpovídat na otázky, sumarizovat a extrahovat poznatky a dokonce i sekvenční rozhodování s externím prostředím,“ řekl Liu TechCrunch v e-mailovém rozhovoru. “Ale LLM mají své limity.”
Jak projekt rostl v popularitě (až 200 000 stažení měsíčně), spojil Liu své síly se Simonem Suo, jedním z jeho starých kolegů v Uberu, aby proměnil LlamaIndex v plnohodnotnou společnost. Dnes LlamaIndex (společnost) nabízí rámec, který pomáhá vývojářům využívat schopnosti LLM nad jejich osobními nebo organizačními daty.
„LlamaIndex [helps] vývojáři spravují svá data pro aplikace LLM,“ řekl Liu. “Naše sada nástrojů obsahuje v tomto aspektu největší hloubku a my usnadňujeme integraci s dalšími nástroji, které vývojář používá.”
Poděkování za obrázky: LlamaIndex
Rámec LlamaIndex umožňuje vývojářům propojovat data ze souborů jako PDF, PowerPoint, aplikací jako Notion a Slack a databází jako Postgres a MongoDB s LLM. Rámec zahrnuje konektory pro ingest datových zdrojů a datových formátů, stejně jako způsoby strukturování dat tak, aby je bylo možné snadno používat s LLM.
LlamaIndex navíc obsahuje rozhraní pro získávání dat a dotazování, které umožňuje vývojářům vložit jakoukoli vstupní výzvu LLM, aby se dostali zpět – jak to popisuje Liu – výstup „rozšířený o kontext a znalosti“.
„Existují další aplikační rámce LLM, které nabízejí základní stavební bloky pro aplikace a agenty LLM,“ řekl Liu. „Pro LlamaIndex je specifické to, že se zaměřujeme na propojení vašich datových zdrojů s LLM a máme rozsáhlé nástroje pro přijímání dat, správu dat a indexování a načítání dat s ohledem na aplikace LLM.“
Vyhlídka na rozšíření LLM tímto způsobem nalákala investory, kteří v nedávno uzavřeném kole počátečního financování přislíbili LlamaIndex 8,5 milionu dolarů. Greylock vedl za účasti andělských investorů, včetně Jacka Altmana, Lennyho Rachitského a Charlese Xie.
Za co tedy LlamaIndex utratí peníze? Liu říká, že bude použit k vybudování „podnikového řešení“ na vrcholu open source projektu LlamaIndex, který bude spuštěn koncem tohoto roku. Jedna funkce umožní zákazníkům používat datové konektory „stupně ochrany“ k analýze a přenosu velkých objemů dat, zatímco další související funkce jim umožní indexovat data „specifická pro doménu“.
“LlamaIndex není vázán na konkrétní část technologie, takže můžeme být nadále používáni s LLM, jak se technologie vyvíjí,” řekl Liu. „Odvětví umělé inteligence se vyvíjí tak rychle, že všechny počáteční stavy, které se objevují, se pravděpodobně v průběhu několika příštích měsíců změní.“