Vzhledem k tomu, že konkurence v prostoru generativní umělé inteligence roste, OpenAI upgraduje své modely pro generování textu a zároveň snižuje ceny.
OpenAI dnes oznámila vydání nových verzí GPT-3.5-turbo a GPT-4, přičemž poslední jmenovaná je její nejnovější AI pro generování textu, se schopností nazývanou volání funkcí. Jak OpenAI vysvětluje v blogovém příspěvku, volání funkcí umožňuje vývojářům popsat programovací funkce GPT-3.5-turbo a GPT-4 a nechat modely vytvořit kód pro provádění těchto funkcí.
Volání funkcí může například pomoci vytvořit chatboty, kteří odpovídají na otázky voláním externích nástrojů, převádějí přirozený jazyk na databázové dotazy a extrahují strukturovaná data z textu. „Tyto modely byly vyladěny tak, aby detekovaly, kdy je třeba funkci zavolat… a aby reagovaly pomocí JSON, který dodržuje podpis funkce,“ píše OpenAI. “Volání funkcí umožňuje vývojářům spolehlivěji získat strukturovaná data zpět z modelu.”
Kromě volání funkcí zavádí OpenAI variantu GPT-3.5-turbo s výrazně rozšířeným kontextovým oknem. Kontextové okno, měřené v tokenech nebo nezpracovaných bitech textu, odkazuje na text, který model zvažuje před generováním dalšího textu. Modely s malými kontextovými okny mají tendenci „zapomínat“ obsah i velmi nedávných konverzací, což je vede k odklonu od tématu – často problematickým způsobem.
Nový GPT-3.5-turbo nabízí čtyřnásobnou délku kontextu (16 000 tokenů) než vanilla GPT-3.5-turbo za dvojnásobnou cenu – 0,003 USD za 1 000 vstupních tokenů (tj. tokenů vložených do modelu) a 0,004 USD za 1 000 výstupních tokenů ( tokeny, které model generuje). OpenAI říká, že dokáže zpracovat přibližně 20 stránek textu na jeden zátah – což je méně než stovky stránek, které dokáže zpracovat vlajkový model startupu Anthropic s umělou inteligencí. (OpenAI testuje verzi GPT-4 s kontextovým oknem 32 000 tokenů, ale pouze v omezené verzi.)
Pozitivní je, že OpenAI říká, že snižuje ceny za GPT-3.5-turbo – původní, nikoli verzi s rozšířeným kontextovým oknem – o 25 %. Vývojáři nyní mohou model používat za 0,0015 USD za 1 000 vstupních tokenů a 0,002 USD za 1 000 výstupních tokenů, což odpovídá zhruba 700 stránkám za dolar.
Ceny jsou také sníženy pro text-embedding-ada-002, jeden z nejpopulárnějších modelů pro vkládání textu OpenAI. Vložení textu měří příbuznost textových řetězců a běžně se používá pro vyhledávání (kde jsou výsledky seřazeny podle relevance k řetězci dotazu) a doporučení (kde jsou doporučeny položky se souvisejícími textovými řetězci).
Text-embedding-ada-002 nyní stojí 0,0001 $ za 1 000 tokenů, což je 75% snížení oproti předchozí ceně. OpenAI říká, že snížení bylo umožněno zvýšenou efektivitou jejích systémů – klíčová oblast, na kterou se startup bezpochyby zaměřuje, protože utrácí stovky milionů dolarů za výzkum a vývoj a infrastrukturu.
OpenAI signalizovalo, že po vydání GPT-4 na začátku března jsou jeho MO přírůstkové aktualizace stávajících modelů – nikoli masivní nové modely od nuly. Na nedávné konferenci pořádané Economic Times generální ředitel Sam Altman znovu potvrdil, že OpenAI nezačala školit nástupce GPT-4, což naznačuje, že společnost „má spoustu práce“, než spustí tento model.