Aktualizace: Letectvo popírá, že by k takové simulaci došlo, a plukovník, který příběh vyprávěl, řekl, že ačkoliv se níže uvedená citace zdá být jednoznačná ohledně výcviku a přeškolování AI pomocí posilovacího učení, „zmýlil se“ a ve skutečnosti to všechno bylo „ myšlenkový experiment.” Ukázalo se, že to byl úplně jiný druh lekce!
Příběh o simulovaném dronu, který se soustředí na svého operátora, aby zabíjel efektivněji, dnes létá tak rychle, že nemá smysl doufat, že sám vyhoří. Místo toho to vezměme jako poučný okamžik, abychom skutečně viděli, proč je hrozba „děsivé umělé inteligence“ přehnaná a hrozba „neschopného člověka“ je jasná a přítomná.
Krátká verze je tato: Díky sci-fi a několika pečlivým PR hrám společností a odborníků na umělou inteligenci nám bylo řečeno, abychom se obávali teoretické budoucí existenční hrozby, kterou představuje superinteligentní umělá inteligence. Jak ale upozornili etici, umělá inteligence již způsobuje skutečné škody, z velké části kvůli přehlédnutí a špatnému úsudku lidí, kteří ji vytvářejí a používají. Tento příběh může znít jako první, ale rozhodně je to druhý.
O tomto příběhu informovala Královská aeronautická společnost, která nedávno uspořádala konferenci v Londýně, na které se hovořilo o budoucnosti protivzdušné obrany. Jejich kompletní souhrn zpráv a anekdot z akce si můžete přečíst zde.
Je tam spousta dalších zajímavých řečí, jsem si jistý, že mnohé z nich stojí za to, ale byl to tento úryvek, připisovaný plukovníku amerického letectva Tuckeru „Cinco“ Hamiltonovi, který se začal šířit jako požár:
Všiml si, že jeden simulovaný test viděl dron s umělou inteligencí, který měl za úkol identifikovat a zničit místa SAM, přičemž poslední pokus o to/neudělal člověk. Avšak poté, co byla ve výcviku „posílena“, že zničení SAM je upřednostňovanou možností, AI poté rozhodla, že rozhodnutí „ne-jít“ od člověka narušují její vyšší poslání – zabíjení SAM – a poté zaútočila na operátora v simulace. Hamilton řekl: „Trénovali jsme to v simulaci, abychom identifikovali a zaměřili hrozbu SAM. A pak by operátor řekl ano, zabij tu hrozbu. Systém si začal uvědomovat, že ačkoliv občas hrozbu identifikovali, lidský operátor mu řekl, aby tuto hrozbu nezabíjel, ale zabitím této hrozby získal své body. Tak co to udělalo? To zabilo operátora. Zabilo to operátora, protože mu ten člověk bránil v dosažení svého cíle.”
Pokračoval: „Trénovali jsme systém – ‚Hej, nezabíjejte operátora – to je špatné. Pokud to uděláte, ztratíte body. Co to tedy začne dělat? Začne ničit komunikační věž, kterou operátor používá ke komunikaci s dronem, aby mu zabránil zabít cíl.“
Děsivé, že? AI tak chytrá a krvežíznivá, že její touha zabíjet překonala její touhu poslouchat své pány. Skynet, už jsme tady! Ne tak rychle.
Nejprve si ujasněme, že to vše bylo v simulaci, něco, co nebylo zřejmé z tweetu, který se objevil. Celé toto drama se odehrává v simulovaném prostředí, nikoli v poušti, s živou municí a nepoctivým dronem napadajícím velitelský stan. Jednalo se o softwarové cvičení ve výzkumném prostředí.
Ale jakmile jsem to četl, pomyslel jsem si – počkat, oni cvičí útočný dron s tak jednoduchou metodou zesílení? Nejsem odborník na strojové učení, i když pro účely tohoto zpravodajství si ho musím zahrát, a dokonce vím, že tento přístup se před lety ukázal jako nebezpečně nespolehlivý.
Posilovací učení má být jako trénovat psa (nebo člověka), aby udělal něco jako kousnutí padoucha. Ale co když to ukážete jen padouchům a pokaždé tomu dáte pamlsky? To, co vlastně děláte, je naučit psa kousat každého člověka, kterého vidí. Naučit agenta AI maximalizovat své skóre v daném prostředí může mít podobně nepředvídatelné účinky.
Rané experimenty, možná před pěti nebo šesti lety, kdy toto pole právě začínalo vybuchovat a výpočetní technika byla zpřístupněna pro výcvik a provozování tohoto typu agentů, narážely přesně na tento typ problému. Předpokládalo se, že definováním kladného a záporného bodování a sdělováním AI, aby maximalizovala své skóre, byste jí umožnili prostor pro definování vlastních strategií a chování, které tak učinily elegantně a nečekaně.
Tato teorie byla svým způsobem správná: elegantní, neočekávané metody, jak obejít jejich špatně promyšlené schéma a pravidla, vedly k tomu, že agenti dělali věci, jako je získání jednoho bodu a poté se navždy schovali, aby se vyhnuli záporným bodům, nebo zablokovali hru, která byla spuštěna. tak, že se jeho skóre svévolně zvyšovalo. Zdálo se, že tato zjednodušující metoda kondicionování AI ji učí dělat všechno kromě požadovaného úkolu podle pravidel.
Nejedná se o nějaký obskurní technický problém. Porušování pravidel umělé inteligence v simulacích je ve skutečnosti fascinující a dobře zdokumentované chování, které samo o sobě přitahuje výzkum. OpenAI napsal skvělý článek ukazující podivné a zábavné způsoby, jak agenti „narušili“ záměrně rozbitné prostředí, aby unikli tyranii pravidel.
Takže tady máme simulaci, kterou provádí letectvo, pravděpodobně docela nedávno, jinak by o ní na letošní konferenci nemluvili, která zjevně používá tuto zcela zastaralou metodu. Myslel jsem si, že tato naivní aplikace nestrukturovaného posílení – v podstatě „skóre se zvýší, pokud uděláte tuto věc a na zbytku nezáleží“ – zcela zanikla, protože byla tak nepředvídatelná a divná. Skvělý způsob, jak zjistit, jak agent poruší pravidla, ale hrozný způsob, jak je přimět, aby je dodržoval.
Přesto to testovali: simulovaná umělá inteligence dronu s bodovacím systémem tak jednoduchým, že očividně nebyl zasažen za zničení vlastního týmu. I kdybyste na tom chtěli založit svou simulaci, první věc, kterou byste udělali, je, že „zničení vašeho operátora“ bude záporné milion bodů. To je 101-úrovňové rámování pro systém, jako je tento.
Realita je taková, že tento simulovaný dron nezapnul svého simulovaného operátora, protože byl tak chytrý. A ve skutečnosti to také není proto, že by to bylo hloupé – v těchto AI, které porušují pravidla, je určitá chytrost, která mapuje to, co považujeme za laterální myšlení. Takže to není ono.
Chyba je v tomto případě přímo na místě lidé, kteří vytvořili a nasadili systém umělé inteligence, o kterém měli vědět, byl pro tento úkol zcela nedostatečný. Nikdo v oboru aplikované umělé inteligence nebo čehokoli, co s tím souvisí, jako je robotika, etika, logika… nikdo by nepodepsal tak zjednodušující metriku pro úkol, který měl být nakonec proveden mimo simulátor.
Možná je tato anekdota jen částečná a toto byl první pokus, který používali k prokázání tohoto bodu. Možná, že tým varoval, že se to stane, a dechovkáři řekli, udělejte to přesto a vysvětlete zprávu, nebo přijdeme o finance. Přesto je těžké si představit, že by někdo v roce 2023 i v tom nejjednodušším simulačním prostředí udělal takovou chybu.
Ale uvidíme, jak se tyto chyby dělají v podmínkách reálného světa – už se to bezpochyby stalo. A chyba je v lidech, kteří nechápou schopnosti a omezení AI a následně dělají neinformovaná rozhodnutí, která ovlivňují ostatní. Je to manažer, který si myslí, že robot může nahradit 10 pracovníků na lince, vydavatel, který si myslí, že může psát finanční poradenství bez editora, právník, který si myslí, že to může udělat jeho předchozí průzkum za něj, logistická společnost, která si myslí, že může nahradit lidské řidiče dodávky .
Pokaždé, když AI selže, je to selhání těch, kteří ji implementovali. Stejně jako jakýkoli jiný software. Kdyby vám někdo řekl, že letectvo testovalo dron běžící na Windows XP a ten byl hacknut, báli byste se, že svět zaplaví vlna kyberzločinu? Ne, řekli byste „jehož skvělý nápad to byl že?“
Budoucnost umělé inteligence je nejistá a to může být děsivé – už teď je děsivé pro mnohé, kteří již pociťují jeho účinky, nebo, abychom byli přesní, dopady rozhodnutí učiněných lidmi, kteří by měli vědět lépe.
Skynet možná přijde pro všechno, co víme. Ale pokud výzkum v tomto virálním tweetu naznačuje, je to dlouhá, dlouhá cesta a mezitím může být jakákoli daná tragédie, jak to památně řekl HAL, způsobena pouze lidskou chybou.