To chińskie Qihoo 360 oszukiwało w testach antywirusów

O sprawie informowaliśmy już kilka dni temu, kiedy to na łamach oficjalnego blogu laboratorium AV-Comparatives znalazła się notka mówiąca o śledztwie prowadzonym w związku z oszustwem. Odkryto, że jeden z producentów darmowych antywirusów przesyłał do testów zmodyfikowaną wersję, aby uzyskać lepsze wyniki. Firmą tą okazało się chińskie Qihoo 360, odpowiedzialne za takie aplikacje jak 360 Total Security i 360 Internet Security. Z punktu widzenia zwykłego, niezaawansowanego użytkownika naruszenie jest poważne, co więcej, dotyczy ono nie tylko tego laboratorium, ale także dwóch innych.

Producent wystawiając swój program do testów AV-Comparatives, AV-TEST i Virus Bulletin uruchamiał w nim silnik BitDefendera, zamiast swojego autorskiego QVM. Zaznaczmy, że oprogramowanie tworzone przez Qihoo pozwala na korzystanie z wielu silników, co pozwala znacznie zwiększyć wykrywalność aplikacji. Domyślnie korzysta jednak z własnego silnika. Jak się okazało, zmiana miała duży wpływ na wyniki: QVM okazał się o wiele słabszy, a na dodatek silnik ten wszczyna wiele fałszywych alarmów i chce usuwać pliki zupełnie nieszkodliwe. Silnik BitDefendera to natomiast jedno z najlepszych rozwiązań dostępnych na rynku, z którego korzysta wielu różnych producentów. Wyłączenie QVM i włączenie zamiast niego silnika stworzonego przez rumuńskich programistów pozwoliło osiągnąć znacznie lepsze rezultaty we wszystkich testach. Oczywiście w praktyce było inaczej, bo użytkownicy instalujący antywirusa od Qihoo nie mogli liczyć na taki poziom ochrony bez samodzielnej modyfikacji ustawień programu.

Chińska firma próbując jakoś się ratować, poinformowała w ramach prowadzonego śledztwa o tym, że dwie inne chińskie marki (Baidu i Tencent) również dopuszczają się niedozwolonych zmian. Ciekawa strategia: skoro sami zostaliśmy nakryci, pokazujemy palcem na innych. Laboratoria sprawdziły tę sprawę i stwierdziły, że choć faktycznie produkty tych firm zachowują się nieco inaczej w warunkach testowych i rzeczywistych, to nie ma dowodów na to, że modyfikacje zaburzały wyniki. Taka decyzja jest już niezrozumiała i stawia pod znakiem zapytania wiarygodność trzech instytucji testujących antywirusy. Przecież w tego typu analizach niedopuszczalne są jakiekolwiek modyfikacje.

Przedstawiciele Qihoo przyznali, że tak dopasowali ustawienia wersji przeznaczonej dla testów, aby zapewniała ona wyższą skuteczność np. poprzez wykrywanie generatorów kluczy, cracków, oraz komunikowanie się z bliższymi serwerami działającymi w ramach chmury producenta. Jaką lekcję powinniśmy wyciągnąć z tej sytuacji? Ufać nie można ani producentom antywirusów, ani organizacjom, które cyklicznie wykonują ich testy. Wyniki mogą być dla nas jedynie pewnym punktem orientacyjnym, a nie wyznacznikiem jakości danego oprogramowania.