OpenAI vytváří nový tým vedený Ilyou Sutskeverem, jejím hlavním vědcem a jedním ze spoluzakladatelů společnosti, aby vyvíjel způsoby, jak řídit a ovládat „superinteligentní“ systémy umělé inteligence.
V dnes zveřejněném blogovém příspěvku Sutskever a Jan Leike, vedoucí týmu pro zarovnání v OpenAI, předpovídají, že umělá inteligence s inteligencí převyšující lidskou inteligenci by mohla dorazit během deseti let. Tato umělá inteligence – za předpokladu, že nakonec skutečně dorazí – nebude nutně benevolentní a bude vyžadovat výzkum způsobů, jak ji ovládat a omezovat, říkají Sutskever a Leike.
„V současné době nemáme řešení, jak řídit nebo ovládat potenciálně superinteligentní AI a zabránit tomu, aby se nepovedla,“ píší. „Naše současné techniky pro sladění umělé inteligence, jako je posilování učení z lidské zpětné vazby, spoléhají na schopnost lidí dohlížet na umělou inteligenci. Ale lidé nebudou schopni spolehlivě dohlížet na systémy AI mnohem chytřeji než my.“
Aby bylo možné posunout jehlu kupředu v oblasti „zarovnání superinteligence“, OpenAI vytváří nový tým Superalignment vedený Sutskeverem a Leikem, který bude mít přístup k 20 % výpočetní kapacity, kterou společnost dosud zajistila. Tým, k němuž se připojili vědci a inženýři z předchozí divize pro zarovnání OpenAI, a také výzkumníci z dalších organizací napříč společností, se zaměří na vyřešení základních technických problémů řízení superinteligentní umělé inteligence v průběhu příštích čtyř let.
Jak? Vybudováním toho, co Sutskever a Leike popisují jako „výzkumníka automatizovaného zarovnání na lidské úrovni“. Hlavním cílem je trénovat systémy AI pomocí lidské zpětné vazby, trénovat AI tak, aby pomáhala při hodnocení jiných systémů AI, a nakonec vytvořit AI, která dokáže provádět výzkum zarovnání. (V tomto případě se „výzkum zarovnání“ vztahuje k zajištění toho, aby systémy umělé inteligence dosáhly požadovaných výsledků nebo aby nezůstaly mimo koleje.)
Je to hypotéza OpenAI, že umělá inteligence může dosáhnout rychlejšího a lepšího pokroku ve výzkumu zarovnání než lidé.
„Jak v tomto postupujeme, naše systémy AI mohou převzít stále více naší práce se zarovnáním a nakonec navrhnout, implementovat, studovat a vyvinout lepší techniky zarovnání, než máme nyní,“ předpokládali Leike a kolegové John Schulman a Jeffrey Wu předchozí příspěvek na blogu. „Budou spolupracovat s lidmi, aby zajistili, že jejich vlastní nástupci budou více sladěni s lidmi. . . . Lidští výzkumníci zaměří své úsilí stále více na přezkoumání výzkumu zarovnání prováděného systémy AI namísto toho, aby tento výzkum generovali sami.“
Žádná metoda samozřejmě není spolehlivá – a Leike, Schulman a Wu ve svém příspěvku uznávají mnohá omezení OpenAI. Využití umělé inteligence pro hodnocení má potenciál zvýšit nekonzistence, předsudky nebo zranitelnosti v této umělé inteligenci, říkají. A mohlo by se ukázat, že nejtěžší části problému se zarovnáním nemusí vůbec souviset s inženýrstvím.
Ale Sutskever a Leike si myslí, že to stojí za to.
„Zarovnání superinteligence je v podstatě problém strojového učení a myslíme si, že skvělí odborníci na strojové učení – i když na zarovnání ještě nepracují – budou pro jeho vyřešení rozhodující,“ píší. „Plánujeme sdílet plody tohoto úsilí v širokém měřítku a považujeme přispění k sladění a bezpečnosti modelů mimo OpenAI za důležitou součást naší práce.“