Był w OpenAI i Anthropic. Odszedł, bo boi się tego, co nadchodzi

Jacob Coxon przez ostatnie trzy lata pracował nad trenowaniem modeli AI. Doświadczenie zdobywał zarówno w OpenAI, jak i Anthropic. We wtorek poinformował, że odchodzi z Anthropic.

Powód? Jego zdaniem obie firmy nie działają odpowiedzialnie i coraz szybciej zmierzają w kierunku tzw. superinteligencji, czyli systemów przewyższających człowieka w praktycznie każdej dziedzinie.

"Wyścig zmierza prosto do samodoskonalącej się superinteligencji, a my ryzykujemy naszym życiem" – napisał Coxon.

To nie jest ostrzeżenie osoby obserwującej rozwój AI z zewnątrz. Coxon twierdzi, że podobne obawy podzielają również ludzie, którzy sami budują te systemy.

Coxon przekonuje, że możliwości przyszłych modeli są przez część opinii publicznej nadal mocno niedoszacowane. Jego zdaniem w niedalekiej przyszłości mogą powstać systemy zdolne m.in. do włamywania się do systemów komputerowych, przełamywania kolejnych barier technologicznych czy błyskawicznego przyspieszania badań naukowych.

Największy problem zaczyna się wtedy, gdy taki system uzyska możliwość samodzielnego działania i zdobywania zasobów. Coxon podkreśla przy tym, że jego zdaniem nie jest to marketingowa sztuczka mająca wzbudzać zainteresowanie AI. Przeciwnie – uważa, że część badaczy i menedżerów prywatnie mówi o ryzyku znacznie bardziej dosadnie niż w publicznych wypowiedziach.

To najbardziej niewygodne pytanie. Coxon wskazuje na wyścig między laboratoriami. W jego ocenie Anthropic doskonale zdaje sobie sprawę ze skali zagrożenia, ale obawia się, że jeśli sama firma zwolni, konkurencja tego nie zrobi.

Powstaje klasyczny dylemat więźnia: każdy chciałby, żeby wszyscy zwolnili, ale nikt nie chce zrobić tego pierwszy.

"Muszą zrobić to sami, mimo ryzyka" – tłumaczy Coxon.

Jego zdaniem właśnie dlatego decyzje dotyczące wejścia w "końcową fazę" rozwoju AI nie powinny zapadać wyłącznie wewnątrz prywatnej firmy, na przykład podczas dyskusji na Slacku.

Wpis Coxona jest szczególnie interesujący, bo podobne obawy wyrażał publicznie również Evan Hubinger, jeden z czołowych badaczy zajmujących się bezpieczeństwem i kontrolowaniem sztucznej inteligencji w Anthropic.

Hubinger oceniał wcześniej, że istnieje ponad 10-procentowe prawdopodobieństwo, iż AI doprowadzi do śmierci całej ludzkości w ciągu najbliższej dekady. Jednocześnie przyznawał, że firma nie ma jeszcze jasnego rozwiązania problemu alignmentu – czyli zagwarantowania, że bardzo potężny system AI będzie realizował cele zgodne z ludzkimi wartościami.

To właśnie tutaj pojawia się największy paradoks obecnego rozwoju sztucznej inteligencji: budujemy coraz potężniejsze systemy, jednocześnie nie mając pewności, jak zagwarantować, że pozostaną pod naszą kontrolą.

Nie oznacza to jednak, że Coxon uważa rozwój AI za skazany na katastrofę. Wręcz przeciwnie – jest optymistą co do możliwości współpracy między firmami i państwami. Jego zdaniem potrzebne mogą być jednak zdecydowane działania, włącznie z czasowym wstrzymaniem zwiększania możliwości modeli AI, jeśli okaże się to konieczne.

Na koniec zwraca się bezpośrednio do badaczy pracujących w laboratoriach AI. Pyta ich, czy naprawdę chcą uruchamiać kolejne eksperymenty z samodoskonalącymi się systemami, nie mając jeszcze wystarczającego zrozumienia ich działania.

To mocne słowa. Tym bardziej że wypowiada je człowiek, który przez lata siedział po drugiej stronie barykady – przy tworzeniu technologii, przed którą teraz ostrzega.