Nový dokument od výzkumníků ze švýcarské univerzity EPFL naznačuje, že mezi 33 % a 46 % distribuovaných davových pracovníků ve službě Amazon’s Mechanical Turk se zdá, že „podváděli“, když vykonávali konkrétní úkol, který jim byl přidělen, protože k tomu používali nástroje jako ChatGPT. nějakou tu práci. Pokud je tato praxe rozšířená, může se ukázat jako docela vážný problém.
Mechanical Turk od Amazonu je již dlouho útočištěm frustrovaných vývojářů, kteří chtějí, aby práci vykonávali lidé. Stručně řečeno, je to aplikační programovací rozhraní (API), které dodává úkoly lidem, kteří je dělají a poté vrací výsledky. Tyto úkoly jsou obvykle takové, ve kterých si přejete, aby počítače byly lepší. Podle Amazonu by příkladem takových úkolů bylo: „Kreslení ohraničujících rámečků pro vytváření vysoce kvalitních datových sad pro modely počítačového vidění, kde může být úkol příliš nejednoznačný pro čistě mechanické řešení a příliš rozsáhlý i pro velký tým lidských expertů. “
Datoví vědci zacházejí s datovými sadami odlišně podle jejich původu – pokud jsou generovány lidmi nebo velkým jazykovým modelem (LLM). Problém s Mechanical Turk je však horší, než se zdá: AI je nyní dostupná dostatečně levně, takže produktoví manažeři, kteří se rozhodnou použít Mechanical Turk před strojově generovaným řešením, spoléhají na to, že lidé jsou v něčem lepší než roboti. Otrava té studnice dat by mohla mít vážné následky.
„Rozlišení LLM od textu vytvořeného lidmi je obtížné jak pro modely strojového učení, tak pro lidi,“ uvedli vědci. Vědci proto vytvořili metodiku, jak zjistit, zda textový obsah vytvořil člověk nebo stroj.
Test zahrnoval požadavek na crowdsourcingové pracovníky, aby shrnuli abstrakty výzkumu z New England Journal of Medicine do 100slovných shrnutí. Stojí za zmínku, že toto je přesně druh úkolu, na který jsou dobré generativní technologie umělé inteligence, jako je ChatGPT.