Wierzysz w testy antywirusów? Lepiej podchodzić do nich z dystansem
Na oficjalnym blogu zespołu AV-Comparatives zajmującego się testowaniem oprogramowania antywirusowego umieszczony został ciekawy wpis. Laboratorium poinformowało o rozpoczęciu śledztwa w sprawie oszustwa, jakiego dopuściła się jedna z firm i które wpłynęło na wyniki przeprowadzanych testów.
W oficjalnej notatce znajdziemy informację o tym, że jedna z firm udostępniła do testów specjalną wersję swojego oprogramowania, dzięki czemu uzyskała wyniki odbiegające od tych, jakie notuje standardowa wersja. Taki proceder dotyczy nie tylko AV-Comparatives, ale i innych laboratoriów, producent stworzył więc wersję z myślą tylko o testach, aby w ten sposób jeszcze lepiej „promować” swoje oprogramowanie. Oczywiście użytkownicy korzystają z wersji standardowej, która nie jest w stanie zaoferować tak wysokiego poziomu ochrony. AVC nie poinformowało, która firma dopuściła się oszustwa, chce z tym zaczekać aż do wyjaśnienia sprawy.
Ciekawostką jest wypowiedź jednego z pracowników laboratorium z Facebooka. Na pytanie jednego z obserwujących odpowiedział, że sprawa dotyczy darmowego produktu. To mogłoby oznaczać, że w testach nieprawdziwe wyniki dotyczą któregoś programu z grupy m.in. Avasta, AVG, Baidu, Pandy czy Qihoo (360 Total Security i 360 Internet Security). Pikanterii całemu zamieszaniu dodaje fakt, że odpowiedź pracownika została już z Facebooka usunięta. Warto dodać, że procedury testujące laboratoriów nie zawsze odpowiadają producentom oprogramowania zabezpieczającego. Dla przykładu we wspomnianym AV-Comparatives nie znajdziemy wyników oprogramowania firmy Symantec, takiego jak pakiety Norton. Według producenta testy nie są miarodajne, wprowadzają użytkowników w błąd i dlatego laboratorium nie ma pozwolenia na ich testowanie. Co ciekawe, producent wycofał się z testów dwa lata temu, kiedy to jeden z nich pokazał, że Norton zgłasza wiele fałszywych alarmów.
Czy wspomniany test naprawdę był kłamliwy i zawierał nieprawdę? Jako użytkownik tego pakietu muszę stwierdzić, że faktycznie bardzo często usuwa on pliki nieszkodliwe, choć jest to podyktowane jego działaniem. Norton opiera swoje działanie na wielu mechanizmach, w tym i systemie reputacji. Jeżeli plik nie jest znany (np. rzadko używane, niewielkie, specjalistyczne aplikacje), może zostać uznany za szkodliwy systemem reputacji i usunięty. Dla zaawansowanego użytkownika to niewygoda i konieczność wykonania kilku dodatkowych kliknięć, dla zwykłego Kowalskiego jednak całkiem dobry sposób na usuwanie plików, które mogą okazać się przypadkowo pobranym szkodliwym oprogramowaniem. Prawdą jest jednak, że takie zachowanie wygląda źle w testach, gdzie dla wielu czytelników liczą się tylko suche liczby i wykresy, a nie metodyka badania.
Co można poradzić w tej sprawie? Do wszelkich masowych i regularnych testów antywirusów warto podchodzić z dystansem. Oszukiwać mogą firmy, ale i laboratoria tworzące testy sponsorowane – tutaj dobrym przykładem jest ostatni test MRG Effitas ochrony przeciwko exploitom sponsorowany przez SurfRight, w którym „co dziwne”, wygrał HitmanPro.Alert, produkt właśnie tej firmy. Prawda jest natomiast dla producentów antywirusów bardzo niewygodna — ich oprogramowanie od dawna nie radzi sobie ze zwiększoną liczbą zagrożeń i nie jest w stanie odpowiednio reagować w każdym przypadku. Najważniejsze w ochronie komputera pozostaje więc ciągle myślenie i zdrowy rozsądek.
