Dnes ráno Vellum.ai řekl, že uzavřel 5 milionů dolarů počátečního kola. Společnost odmítla prozradit, kdo byl jejím hlavním investorem pro toto kolo, kromě toho, že se jednalo o vícestupňovou firmu, ale řekla TechCrunch, že se kola zúčastnily Rebel Fund, Eastlink Capital, Pioneer Fund, Y Combinator a několik andělů.
Startup poprvé upoutal pozornost TechCrunch během posledního demo dne Y Combinator (zima 2023) díky svému zaměření na pomoc společnostem vylepšovat jejich generativní výzvy AI. Vzhledem k počtu generativních modelů umělé inteligence, jak rychle postupují a kolik obchodních kategorií se zdá být připraveno využít velké jazykové modely (LLM), se nám jeho zaměření líbilo.
Podle metrik, které Vellum sdílel s TechCrunch, se trhu líbí i to, co startup buduje. Podle Akash Sharma, generálního ředitele a spoluzakladatele společnosti Vellum, má dnes startup 40 platících zákazníků, přičemž tržby rostou přibližně o 25 % až 30 % měsíčně.
Pro společnost zrozenou v lednu tohoto roku je to působivé.
Normálně bych v krátké aktualizaci financování tohoto druhu strávil trochu času podrobným popisem společnosti a jejího produktu, zaměřil se na růst a pokračoval. Nicméně, když diskutujeme o něčem, co se trochu rodí, pojďme si udělat čas na promluvu o rychlém inženýrství obecněji.
Budova Vellum
Sharma mi řekl, že on a jeho spoluzakladatelé (Noa Flaherty a Sidd Seethepalli) byli zaměstnanci Doveru, další společnosti Y Combinator z éry 2019, která spolupracovala s GPT 3 na začátku roku 2020, kdy byla vydána beta verze.
V Doveru vytvořili generativní aplikace umělé inteligence pro psaní náborových e-mailů, popisů práce a podobně, ale všimli si, že trávili příliš mnoho času na jejich výzvách a nemohli je upravovat ve výrobě ani měřit jejich kvalitu. Potřebovali proto vytvořit nástroje pro jemné doladění a sémantické vyhledávání. Obrovské množství ruční práce se sčítalo, řekl Sharma.
To znamenalo, že tým trávil inženýrský čas na interních nástrojích, místo aby stavěl pro koncového uživatele. Díky těmto zkušenostem a zkušenostem s operacemi strojového učení jeho dvou spoluzakladatelů, když byl ChatGPT minulý rok vydán, si uvědomili, že poptávka trhu po nástrojích, které by zlepšily generativní pobízení AI, „bude exponenciálně růst“. Proto, Vellum.
Pracovní postupy LLM uvnitř Vellum. Poděkování za obrázky: Pergamen
Vidět, jak trh otevírá nové příležitosti pro vytváření nástrojů, není nic nového, ale moderní LLM mohou nejen změnit samotný trh AI, ale také jej zvětšit. Sharma mi řekl, že až do vydání nedávno vydaných LLM „nebylo nikdy možné používat přirozený jazyk [prompts] získat výsledky z modelu umělé inteligence.“ Posun k přijímání vstupů přirozeného jazyka „způsobuje [AI] trh mnohem větší, protože můžete mít produktového manažera nebo softwarového inženýra […] doslova kdokoli je pohotovým inženýrem.“
Více výkonu ve více rukou znamená větší nároky na nástroje. Na toto téma Vellum nabízí způsob, jakým mohou AI promptery porovnávat výstup modelu vedle sebe, možnost vyhledávat data specifická pro společnost a přidat kontext do konkrétních výzev a další nástroje, jako je testování a kontrola verzí, které se společnostem může líbit. aby bylo zajištěno, že jejich výzvy chrlí správné věci.
Ale jak těžké může být vyzvat LLM? Sharma řekl: „Je jednoduché roztočit prototyp poháněný LLM a spustit jej, ale když společnosti nakonec vezmou něco jako [that] do výroby si uvědomují, že se objevuje mnoho okrajových případů, které mají tendenci poskytovat podivné výsledky.“ Stručně řečeno, pokud společnosti chtějí, aby jejich LLM byly konzistentně dobré, budou muset udělat více práce, než jen skinovat výstupy GPT pocházející z uživatelských dotazů.
Přesto je to trochu obecné. Jak společnosti používají rafinované výzvy v aplikacích, které vyžadují rychlé inženýrství, aby zajistily, že jejich výstupy jsou dobře vyladěné?
Pro vysvětlení Sharma poukázal na softwarovou společnost pro podporu prodeje vstupenek, která se zaměřuje na hotely. Tato společnost chtěla vybudovat svého agenta LLM, který by mohl odpovídat na otázky typu: „Můžete mi udělat rezervaci?“
Nejprve potřeboval výzvu, která fungovala jako klasifikátor eskalace, aby se rozhodlo, zda má na otázku odpovědět osoba nebo LLM. Pokud se LLM chystal odpovědět na dotaz, model by pak – my zde příklad rozšiřujeme sami – být schopen to správně udělat, aniž by došlo k halucinacím nebo sjetí z kolejí.
LLM tedy mohou být zřetězeny, aby se vytvořila určitá logika, která jimi protéká. Pohotové inženýrství tedy není jen nudit se LLM, aby se pokusili přimět je k něčemu rozmarnému. Z našeho pohledu je to něco více podobného programování v přirozeném jazyce. Bude potřebovat vlastní nástrojový rámec, podobně jako jiné formy programování.
Jak velký je trh?
TechCrunch+ prozkoumal, proč společnosti očekávají, že trh podnikové generativní AI poroste do obrovských rozměrů. Mělo by existovat mnoho horníků (zákazníků), kteří budou potřebovat krumpáče a lopaty (rychlé inženýrské nástroje), aby co nejlépe využili generativní AI.
Vellum odmítl sdílet své cenové schéma, ale poznamenal, že jeho služby stojí tři až čtyři čísla měsíčně. Ve spojení s více než třemi desítkami zákazníků to dává Vellumu pro společnost v počáteční fázi docela zdravý chod. Rychlý nárůst poptávky má tendenci korelovat s velikostí trhu, takže je spravedlivé říci, že po LLM skutečně existuje silná poptávka podniků.
To je dobrá zpráva pro obrovské množství společností, které vytvářejí, nasazují nebo podporují LLM. Vzhledem k tomu, kolik startupů je v tomto mixu, díváme se na jasné, slunečné dny, které nás čekají.