Inflection, dobře financovaný startup s umělou inteligencí, jehož cílem je vytvořit „osobní umělou inteligenci pro každého“, zahalil velký jazykový model, který pohání jeho konverzační agent Pi. Těžko kvalitu těchto věcí nějak hodnotit, natož objektivně a systematicky, ale trocha konkurence je dobrá.
Inflection-1, jak se model nazývá, má velikost a schopnosti zhruba GPT-3.5 (AKA ChatGPT) – měřeno výpočetním výkonem použitým k jejich trénování. Společnost tvrdí, že je konkurenceschopná nebo lepší než ostatní modely na této úrovni, což dokládá „technickou poznámkou“ popisující některé benchmarky, které provozovala na jejím modelu, GPT-3.5, LLaMA, Chinchilla a PaLM-540B.
Podle výsledků, které zveřejnili, si Inflection-1 skutečně vede dobře v různých měřítcích, jako jsou úkoly zkoušek na střední a vysoké škole (myslím, že biologie 101) a benchmarky „zdravého rozumu“ (věci jako „když Jack hodí míč na střechu“ a Jill to hodí zpátky dolů, kde je míč?“). Zaostává hlavně v kódování, kde ho GPT-3.5 hravě poráží a pro srovnání GPT-4 podkuřuje konkurenci; O největším modelu OpenAI je dobře známo, že tam zaznamenal obrovský kvalitativní skok, takže to není žádné překvapení.
Inflection poznamenává, že očekává zveřejnění výsledků pro větší model srovnatelný s GPT-4 a PaLM-2(L), ale nepochybně čeká, až výsledky budou stát za zveřejnění. V každém případě Inflection-2 nebo Inflection-1-XL nebo cokoli, co je v troubě, ale není úplně propečené.
Komunita zatím formálně nerozdělila modely umělé inteligence do strojového učení ekvivalentu boxerských váhových kategorií, ale tyto koncepty se navzájem docela dobře mapují. Nečekáte, že se muší váha postaví proti těžké váze, jsou to prakticky jiné sporty. Totéž s modely AI: malý není tak schopný jako velký, ale malý běží efektivně na telefonu, zatímco velký vyžaduje datové centrum. Je to věc od jablek k pomerančům.
Je ještě příliš brzy na to, abychom se o něco takového pokoušeli, protože pole je stále poměrně mladé a neexistuje žádný skutečný konsenzus o tom, jaké velikosti a tvary modelu AI by měly být považovány za pírko.
U většiny těchto modelů je důkaz pudingu samozřejmě v ochutnávce, a dokud Inflection neotevře svůj model širokému použití a nezávislému hodnocení, všechna jeho vychvalovaná měřítka musí být brána s rezervou. Pokud si chcete dát Pi šanci, můžete ji přidat do jedné ze svých aplikací pro zasílání zpráv nebo s ní chatovat online zde.