Toyota Yaris oszukuje kamery AI. Pokazali ją na konferencji hakerów

Czy da się zmylić monitoring korzystający z algorytmów rozpoznawania obrazu? Podczas konferencji Def Con w Las Vegas pokazano, że to możliwe. Zwykła Toyota Yaris została pokryta specjalnym wzorem, który ma dezorientować narzędzia wykrywające obiekty. Auto nie "znika" z kadru, ale staje się problematyczne dla systemów, które automatycznie identyfikują samochody.

Za noRecognition stoi Bill Swearingen, specjalista ds. cyberbezpieczeństwa. Opracował rozwiązanie oparte na uczeniu ze wzmocnieniem, które zamiast ręcznego projektowania "maskowania" pozwala modelowi samodzielnie dojść do tego, jakie kształty i układy barw najskuteczniej mylą rozpoznawanie obrazu.

Swearingen opisuje ten mechanizm jako proces podobny do nauki malowania: system tworzy kolejny wariant wzoru i konfrontuje go z algorytmami detekcji. Gdy sztuczna inteligencja nadal poprawnie identyfikuje obiekt, wzór jest zmieniany i ponownie sprawdzany. Seria takich iteracji ma prowadzić do rozwiązań, które coraz skuteczniej wprowadzają monitoring w błąd.

Twórca projektu podaje, że wykonał już około 31 milionów testów. Na tej podstawie powstały wzory mające radzić sobie z kompletem 11 algorytmów detekcji, które uwzględnił w swoich próbach.

Żeby sprawdzić, jak wygląda to poza symulacją, Swearingen we współpracy z ekipą Donut Media okleił Toyotę Yaris wzorem wygenerowanym przez noRecognition. Następnie samochód przejechał przed kamerą firmy Flock, wykorzystywaną m.in. do automatycznego monitorowania pojazdów i odczytywania tablic rejestracyjnych.

Według Swearingena test wypadł pomyślnie: system nie radził sobie z prawidłowym rozpoznaniem samochodu. Jednym z trudniejszych elementów okazało się natomiast takie "ukrycie" kół, by całość nadal skutecznie myliła analizę obrazu.

Kluczowe jest to, że wzór nie działa jak fizyczna zasłona dla kamery. Pojazd pozostaje w pełni widoczny dla człowieka, ale chodzi o to, by oprogramowanie analizujące nagranie nie sklasyfikowało obiektu jako auta albo nie uruchomiło powiązanych z tym automatycznych mechanizmów śledzenia.

Projekt ma być reakcją na coraz szersze wykorzystywanie automatycznej analizy obrazu w przestrzeni publicznej. Swearingen przekonuje, że ludzie powinni mieć możliwość "wypisania się" z takiego nadzoru. Twierdzi przy tym, że jego metoda potrafi wprowadzać w błąd 11 popularnych algorytmów detekcji, w tym rozwiązania wiązane z systemami Flock, kamerami nasobnymi Axon oraz technologią Clearview AI.

Twórca uruchomił już kampanię crowdfundingową i zapowiada sprzedaż ubrań — m.in. koszulek i bluz — wykorzystujących opracowane wzory. W dalszej perspektywie podobne podejście miałoby trafić na auta, np. jako specjalne folie.

Najbardziej skuteczne projekty graficzne nie zostały na razie upublicznione. Swearingen argumentuje, że gdyby wzory trafiły do sieci, producenci systemów monitoringu mogliby szybko przygotować aktualizacje, które zwiększyłyby odporność algorytmów na tego typu "maskowanie".