W 70 godzin od zera do arcymistrza: AlphaGo Zero pokazuje potencjał AI

Zespół badaczy DeepMind opublikował w Nature artykuł pt.Mastering the game of Go without human knowledge, opisującydziałanie sztucznej inteligencji AlphaGo Zero, następcy wycofanegojuż mistrzowskiego AlphaGo. Celem jej powstania było zbadanie, comoże system, który uczy się całkowicie bez ludzkiego udziału.Niespodziewanie dla siebie, rezygnując z ludzkiego pierwiastka,DeepMind stworzył najlepszego gracza go w historii.

Dlaczego najlepszego? Po swoim okresie samodzielnego treningu,AlphaGo Zero wystawiono przeciwko poprzedniemu czempionowi, AlphaGo,w meczu stu gier. Alpha Go Zero wygrał stosunkiem 100:0, stosującprzy tym strategie, jakich nigdy wcześniej jeszcze nie widziano wgrach między ludźmi. Dla nowego czempiona ludzka wiedza iumiejętności nie są już żadnym wartym uwagi wskaźnikiem, możeon grać już tylko sam ze sobą.

W nowej wersji AI zastosowano innowacyjną formę uczenia przezwzmacnianie, w której AlphaGo Zero stało się swoim własnymnauczycielem. Początkowo sieć neuronowa nic nie wiedziała o grze.Rozgrywając gry przeciwko samej sobie, łączyła swoją sieć zwydajnym algorytmem wyszukiwania. Dostrajał on sieć pod kątemprzewidywania ruchów i wskazywania zwycięzcy.

Wyćwiczona tak AI, w połączeniu z algorytmem wyszukiwania,tworzyła nową, silniejszą wersję AlphaGo Zero, powtarzającproces gry ze sobą. Iteracja po iteracji rosła wydajność systemui jakość rozgrywanych gier. Napędzane nowym hardware AI (zamiastpierwotnych 176 procesorów graficznych Nvidii, jedynie cztery TPU –tensorowe jednostkiobliczeniowe Google’a), stosując liczne uproszczenia warchitekturze, osiągnęło znacznie wyższy poziom ogólnościswojej inteligencji.

Alpha Go Zero nie potrzebuje już więc żadnych dodatkowychinformacji poza ustawieniem kamieni na planszy. Korzysta też tylko zjednej sieci neuronowej zamiast dwóch, pozwalając na efektywniejszetrenowanie (wcześniej stosowano sieć polityk do wyboru następnegoruchu i sieć wartości do przewidywania zwycięzcy po każdymruchu). Wreszcie też nie prowadzi już szybkich losowych gier doprzewidywania zwycięstwa przy danej pozycji, lecz szacuje pozycje zapomocą wysokiej jakości sieci neuronowej.

Pracujący dla Google’a naukowcy są przekonani, że to dopieropoczątek. Ich zdaniem podobne techniki mogą zostać zastosowanew innych ustrukturyzowanych zagadnieniach, takich jak fałdowaniebiałek, poszukiwanie nowych materiałów czy zmniejszenie zużyciaenergii, przynosząc przełomowe dla społeczeństwa wyniki.

Oczywiście z zagadnieniami nieustrukturyzowanymi jest znaczniegorzej. Samodoskonalenie sprawdza się w grze w go, jednak w grach zukrytą lub ograniczoną informacją, takich jak StarCraft, trudnobędzie tą metodą poradzić sobie z trudniejszymi wyzwaniami,przyznają badacze. To dla mięsnych inteligencji dobra wiadomość –jako że zaś świat jest znacznie bardziej podobny do StarCrafta,niż do go, póki co nie musimy się obawiać, że AlphaGo Zero zczasem stanie się superinteligencją na miarę Skynetu.

Słowo klucz to „póki co” – badacze z projektu OpenAIniedawno opublikowali wyniki grania samouczących się sztucznychinteligencji w popularną grę Dota2. AI, które zaczęło naukę z początkiem marca, w sierpniuzdołało pokonać najlepszych ludzkich graczy, takich jak SumaiL.