Meta učinila pozoruhodné tvrzení v oznámení zveřejněném dnes, jehož cílem je poskytnout více jasnosti ohledně jejích algoritmů pro doporučování obsahu. Připravuje se na systémy analýzy chování „řádově“ větší než největší velké jazykové modely, včetně ChatGPT a GPT-4. Je to opravdu nutné?

Meta se jednou za čas rozhodne osvěžit svůj závazek k transparentnosti vysvětlením, jak funguje několik jejích algoritmů. Někdy je to odhalující nebo informativní a někdy to vede pouze k dalším otázkám. Tato příležitost je trochu obojího.

Kromě „systémových karet“ vysvětlujících, jak se AI používá v daném kontextu nebo aplikaci, zveřejnila sociální a reklamní síť přehled modelů AI, které používá. Může být například užitečné vědět, zda video představuje hokej na kolečkových kolech nebo derby na kolečkových bruslích, i když je zde určitý vizuální přesah, takže jej lze správně doporučit.

Meta skutečně patří mezi plodnější výzkumné organizace v oblasti multimodální umělé inteligence, která kombinuje data z různých modalit (například vizuální a sluchové), aby lépe porozuměla obsahu.

Jen málo z těchto modelů je zveřejněno, i když často slýcháme o tom, jak se interně používají ke zlepšení věcí, jako je „relevance“, což je eufemismus pro cílení. (Umožňují některým výzkumníkům přístup k nim.)

Pak přichází tato zajímavá malá maličkost, protože popisuje, jak buduje své výpočetní zdroje:

Abychom hluboce porozuměli a modelovali preference lidí, naše modely doporučení mohou mít desítky bilionů parametrů – řádově větší než i ty největší dnes používané jazykové modely.

Stiskl jsem Meta, abych byl o těchto teoretických desítkách bilionů bilionů trochu konkrétnější, a to je právě to, co jsou: teoretické. V objasňujícím prohlášení společnost uvedla: “Věříme, že naše modely doporučení mají potenciál dosáhnout desítek bilionů parametrů.” Tato fráze je trochu jako říkat, že vaše hamburgery „mohou“ mít karbanátky o objemu 16 uncí, ale pak připustit, že jsou stále ve fázi čtvrtliber. Společnost však jasně uvádí, že jejím cílem je „zajistit, aby tyto velmi velké modely mohly být trénovány a efektivně nasazeny ve velkém měřítku“.

Vybudovala by společnost nákladnou infrastrukturu pro software, který nemá v úmyslu vytvářet – nebo používat? Zdá se to nepravděpodobné, ale Meta odmítla potvrdit (ačkoli ani nepopřeli), že aktivně sledují modely této velikosti. Důsledky jsou jasné, takže i když nemůžeme tento model v měřítku desítek bilionů považovat za existující, umět považujte to za skutečně ambiciózní a pravděpodobné, že to bude fungovat.

„Porozumět a modelovat preference lidí“, mimochodem, musí být chápáno jako analýza chování uživatelů. Vaše skutečné preference by pravděpodobně mohl představovat seznam prostého textu o délce sta slov. Na základní úrovni může být těžké pochopit, proč byste potřebovali model tak velký a složitý, abyste zvládli doporučení i pro několik miliard uživatelů.

Pravdou je, že problémový prostor je skutečně obrovský: Existují miliardy a miliardy kusů obsahu, všechny s doprovodnými metadaty, a nepochybně všechny druhy složitých vektorů, které ukazují, že lidé, kteří sledují Patagonii, mají také tendenci přispívat Světové federaci pro ochranu přírody, nakupují stále více. drahá krmítka pro ptáky a tak dále. Možná tedy není tak překvapivé, že model trénovaný na všech těchto datech by byl poměrně velký. Ale „řádově větší“ než i ten největší, co existuje, něco natrénovaného prakticky na každém dostupném písemném díle?

U GPT-4 neexistuje spolehlivý počet parametrů a lídři ve světě umělé inteligence také zjistili, že jde o reduktivní měřítko výkonu, ale ChatGPT je kolem 175 miliard a GPT-4 je považováno za vyšší, ale nižší. než divokých 100 bilionů nároků. I když Meta trochu přehání, je to stále děsivě velké.

Přemýšlejte o tom: Model umělé inteligence tak velký nebo větší, než kterýkoli dosud vytvořený… na jednom konci je každá jednotlivá akce, kterou provedete na platformách Meta, to, co vyjde na druhém, je předpověď toho, co uděláte nebo se vám bude líbit příště. Trochu strašidelné, že?

Samozřejmě nejsou jediní, kdo to dělá. TikTok vedl v oblasti algoritmického sledování a doporučování a své impérium sociálních médií vybudoval na návykovém zdroji „relevantního“ obsahu, který vám umožní rolovat, dokud vás nebudou bolet oči. Její konkurenti otevřeně závidí.

Meta se jasně zaměřuje na zaslepení inzerentů vědou, a to jak s uvedenou ambicí vytvořit největší model na bloku, tak s pasážemi, jako jsou následující:

Tyto systémy chápou preference chování lidí pomocí velmi rozsáhlých modelů pozornosti, grafových neuronových sítí, učení s několika ranami a dalších technik. Nedávné klíčové inovace zahrnují novou hierarchickou architekturu hlubokého neuronového vyhledávání, která nám umožnila výrazně překonat různé nejmodernější základní linie, aniž by došlo k regresi inferenční latence; a nová souborová architektura, která využívá heterogenní interakční moduly k lepšímu modelování faktorů relevantních pro zájmy lidí.

Výše uvedený odstavec není určen k tomu, aby udělal dojem na výzkumníky (oni to všechno znají) nebo uživatele (nerozumí tomu nebo je to nezajímá). Vžijte se ale do situace inzerenta, který si začíná klást otázku, zda jsou jeho peníze dobře utraceny za reklamy na Instagramu namísto jiných možností. Tento technický šmrnc je má oslnit, přesvědčit je, že Meta je nejen lídrem ve výzkumu AI, ale že AI skutečně vyniká v „chápání“ zájmů a preferencí lidí.

Pokud o tom pochybujete: „více než 20 procent obsahu ve zdrojích na Facebooku a Instagramu uživatele nyní doporučuje umělá inteligence od lidí, skupin nebo účtů, které nesledují.“ Přesně to, o co jsme žádali! Takže to je ono. AI funguje skvěle.

To vše je ale také připomínkou skrytého aparátu v srdci Meta, Google a dalších společností, jejichž primárním motivačním principem je prodávat reklamy s čím dál podrobnějším a přesnějším cílením. Hodnota a legitimita tohoto cílení musí být neustále zdůrazňována, i když se uživatelé bouří a reklama se množí a podsouvá, spíše než se zlepšuje.

Nikdy Meta neudělala něco rozumného, ​​jako že mi předložila seznam 10 značek nebo koníčků a zeptala se, která z nich se mi líbí. Raději by se mi přes rameno dívali, jak prolétám web a hledám novou pláštěnku, a když mi druhý den naservírují reklamy na pláštěnku, budou se chovat jako počin pokročilé umělé inteligence. Není zcela jasné, že druhý přístup je lepší než ten první, nebo pokud ano, jak lepší? Celý web byl postaven na společné víře v přesné cílení reklam a nyní jsou nasazovány nejnovější technologie, které jej podpoří pro novou, skeptičtější vlnu marketingových výdajů.

Samozřejmě potřebujete model s deseti biliony parametrů, který vám řekne, co se lidem líbí. Jak jinak byste mohli ospravedlnit miliardu dolarů, kterou jste utratili za výcvik!

Read More

By admin

Leave a Reply

Your email address will not be published. Required fields are marked *