Soubor tento pod nevyhnutelné, ale veselé. Mechanical Turk je služba, která od svých počátků vypadala, že zve k podvodníkům, a výzkumníci skutečně ukazují, že téměř polovina jejích „turkerů“ zřejmě používá AI k plnění úkolů, které byly speciálně určeny pro lidi, protože AI to nedokázala. V tomto jsme uzavřeli smyčku; skvělá práce všem!
Mechanical Turk od Amazonu umožňuje uživatelům rozdělit jednoduché úkoly do libovolného počtu malých dílčích úkolů, které zaberou jen několik sekund a které zaplatí haléře – ale oddaní dělníci po kouscích by vykonali tisíce a vydělali by tak skromnou, ale spolehlivou mzdu. Byla to, jak to tehdy památně řekl Jeff Bezos, „umělá umělá inteligence“.
Obvykle šlo o úkoly, které bylo obtížné automatizovat – jako CAPTCHA nebo identifikace sentimentu věty nebo jednoduché „nakreslete kruh kolem kočky na tomto obrázku“, věci, které lidé mohli dělat rychle a spolehlivě. To bylo široce používáno lidmi, kteří označovali relativně složitá data, a výzkumníky, jejichž cílem bylo získat lidská hodnocení nebo rozhodnutí v měřítku.
Je pojmenován po slavném šachovém „automatu“, který ve skutečnosti používal člověka skrývajícího se ve své základně k výrobě svých her – Poe o něm napsal skvělé současné odstranění. Někdy je automatizace obtížná nebo nemožná, ale v takových případech můžete z lidstva vytvořit jakýsi stroj. Člověk si na to musí dávat pozor, ale za ta léta se to osvědčilo.
Ale studie od výzkumníků z EPFL ve Švýcarsku ukazuje, že pracovníci Mechanical Turk automatizují svou práci pomocí velkých jazykových modelů, jako je ChatGPT: Had, který si kousne vlastní ocas nebo se možná úplně spolkne.
Otázka se objevila, když zvažovali použití služby jako MTurk jako „člověka ve smyčce“ ke zlepšení nebo ověření faktů LLM odpovědí, které jsou v zásadě nedůvěryhodné:
Je lákavé spoléhat na crowdsourcing při ověřování výstupů LLM nebo při vytváření lidských dat zlatého standardu pro srovnání. Ale co když sami davoví pracovníci používají LLM, např. za účelem zvýšení své produktivity a tím i příjmu na platformách crowdsourcingu?
Aby získali obecnou představu o problému, zadali úkol „abstraktní sumarizace“, který mají Turci splnit. Různými analýzami popsanými v článku (dosud nepublikované nebo recenzované) „odhadují, že 33 % až 46 % davových pracovníků použilo LLM při dokončení úkolu“.
Pro některé to nebude žádné překvapení. Určitá úroveň automatizace pravděpodobně existuje v turkingu již od začátku platformy. Rychlost a spolehlivost jsou motivovány, a pokud byste dokázali napsat skript, který zpracoval určité požadavky s 90% přesností, vydělali jste slušné množství peněz. S tak malým dohledem nad procesy jednotlivých přispěvatelů bylo nevyhnutelné, že některé z těchto úkolů nebudou ve skutečnosti vykonávat lidé, jak bylo inzerováno. Integrita nikdy nebyla silnou stránkou Amazonu, takže nemělo smysl se na ně spoléhat.
Ale vidět to takto rozvržené a pro úkol, který se až donedávna zdál jako takový, který může udělat jen člověk – adekvátně shrnout abstrakt článku – to zpochybňuje nejen hodnotu Mechanical Turk, ale odhaluje další frontu v hrozící krizi „… Školení AI na datech generovaných AI“ v další situaci podobné Ouroboros.
Výzkumníci (Veniamin Veselovsky, Manoel Horta Ribeiro a Robert West) upozorňují, že tento úkol je po nástupu moderních LLM obzvláště vhodný pro skrytou automatizaci, a proto se obzvláště pravděpodobně stane obětí těchto metod. Ale stav techniky se neustále vyvíjí:
LLM jsou den ode dne populárnější a multimodální modely, které podporují nejen text, ale také vstup a výstup obrazu a videa, jsou na vzestupu. Díky tomu by naše výsledky měly být považovány za „kanárka v uhelném dole“, který by měl platformám, výzkumníkům a davovým pracovníkům připomínat, aby našli nové způsoby, jak zajistit, aby lidská data zůstala lidská.
O hrozbě samotného pojídání AI se teoretizovalo mnoho let a stalo se realitou téměř okamžitě po rozsáhlém nasazení LLM: Bingův mazlíček ChatGPT citoval vlastní dezinformace jako podporu nových dezinformací o spiknutí COVID.
Pokud si nemůžete být 100% jisti, že něco udělal člověk, pravděpodobně bude lepší předpokládat, že to tak nebylo. To je skličující princip, kterého se musíme držet, ale jsme tady.