Comodo vs Emsisoft - kontrowersje wokół testów

Zapytano mnie zupełnie niedawno, dlaczego Comodo Internet Security 2013 oraz Emsisoft Internet Security Pack 7 (Emsisoft Anti-Malware 7 + Online Armor 6) uzyskują tak słabe wyniki w naszych testach malicious url i nie otrzymują certyfikatów?

Spotkałem się też z opiniami, że nieprawdą jest jakoby tak dobre "pakiety"[1] zabezpieczające są tak słabe w naszym teście Malicious URL oraz, że testy są nierzetelne.

Otóż sprawa wygląda następująco:

[1]Zarówno CIS jak i EIS nie są pakietami typu Internet Security, chociaż mają je w nazwie. Aby Comodo spełniał standardy brakuje mu jeszcze antyspamu oraz kontroli rodzicielskiej. Jeśli chodzi o Emsisoft - tutaj sprawa jest inna. Emsisoft Internet Security Pack 8 to zlepek dwóch innych programów w jednej "instalce", ale są to programy od jednego producenta tj. Emsisoft Anti-Malware 8 i Online Armor 6. Również EIS brakuje kontroli rodzicielskiej i antyspamu.

Możecie zauważyć, że od jakiegoś czasu nie testujemy już wersji EIS 7 (Emsisoft Internet Security 7) a wersję 8. Na wykresach też nie znajdziecie wersji 7. Postaramy się to zmienić i zaprogramować archiwum wyników w najbliższym czasie.

O ile wykrywalność programów w teście real-time jest prawie doskonała o tyle już w teście malicious-url już nie. Ale dlaczego tak się dzieje?

Słowo wstępu o testach

Naszym celem jest pokazanie jak programy antywirusowe, zarówno te płatne jak i darmowe spisują się w rzeczywistości. Materiał badawczy codziennie dostarcza nam Malware.pl. Wirusy pochodzą ze stron polskich i zagranicznych. Rodzaje wirusów w teście Real Time to m.in: trojany, spyware, dialery, exploity, rootkity, keyloggery, fałszywe antywirusy, niepożądane i zainfekowane adware, backdoory, jak również inna złośliwa zawartość w plikach Javascript-u. W testach Malicious URL są to wszelkiego rodzaju strony zawierające szkodliwą treść m.in: robaki, konie trojańskie, strony phishingowe oraz złośliwa zawartość w plikach m.in Javy, Active-X.

Oczywiście musieliśmy zachować pewne cechy testowania, które określa organizacja zajmująca się wyznaczaniem standardów - Anti-Malware Testing Standards Organization. Nie chcę przepisywać tutaj naszej metodologii, ale nadmienię, iż wszystkie testowane programy w testach porównawczych powinny być sprawdzane na domyślnych ustawieniach. I na nic tutaj zdają się narzekania użytkowników, że Comodo czy inny program antywirusowy powinien być inaczej skonfigurowany, bo zapewnia na innych ustawieniach lepszą ochronę. Gdybyśmy zwiększyli poziom ochrony dla jednego programu a dla drugiego nie, gdzie byłaby sprawiedliwość? To od producenta oprogramowania zależy w jaki sposób zaprogramuje ustawienia domyślne. Jedynym wyjątkiem są testy Malicious-URL, gdzie włączaliśmy ochronę HTTP jeśli program domyślnie miał ją wyłączoną. Tak było w przypadku ArcaVir. Było, ponieważ zrezygnowaliśmy z testowania tego polskiego programu ze względu na bardzo kiepskie wyniki w obu testach.

Od jakiegoś czasu przyznajemy programom antywirusowym certyfikaty za wyniki w LabAV. Aby zdobyć certyfikat należy zdobyć średni wynik za poziomie 60% lub więcej z testów real-time i malicious-url. O ile wykrywalność EIS oraz CIS w real-time stoi na najwyższym poziomie, o tyle w testach malicious-url wyniki są tak słabe, że bardzo zaniża to średnią końcową ocenę.

Jeśli chodzi o testy real-time

Comodo - bardzo dobra detekcja sygnaturowa i do tego moduł Defense+, na który składa się HIPS, sandbox i bloker behawioralny (zachowawczy). Przypadki, kiedy program nie zablokuje zagrożenia są wyjątkami. I już wiem o co mogą zapytać bardziej dociekliwi użytkownicy - jak można przeczytać w metodologii:

Jeśli chodzi o Emsisoft - silnik antywirusowy Bitdefendera, więc detekcja również bardzo dobra. Do tego dochodzi jeszcze analiza zachowawcza.

Testy Malicious-URL

W tych testach sprawa wygląda inaczej. Aby nie być gołosłownym i raz na zawsze wyjaśnić sytuację zapytałem o zdanie samych producentów drogą mailową. I co się okazało? Potwierdzili to o czym sami wcześniej pisaliśmy w recenzjach programów. A wygląda to następująco:

Comodo Internet Security 2013

- ochrona stron internetowych polega tylko na korzystaniu przez program z bezpiecznych serwerów DNS. Comodo nadpisuje serwery DNS dostarczane przez ISP (provider - dostawca internetu) swoimi. DNSy wykorzystują technologię routing anycast - co oznacza, że bez względu na to, gdzie jesteśmy podłączeni do sieci, żądania DNS są odbierane przez najbliższe serwery Comodo. Bezpieczne DNS‑y pozwalają użytkownikom zachować bezpieczeństwo w Internecie, chronią przed stronami zawierającymi malware oraz korzystają z RBL (Real-Time Black List), które zawierają informacje o szkodliwych stronach internetowych np. strony phishingowe, witryny zawierające malware, spyware, nadmierne ilości reklam, potencjalne szkodliwe oprogramowanie itp.

Czy to wystarczy, aby chronić użytkownika przed w/w zagrożeniami? Nie. Ale dlaczego?

Comodo nie analizuje stron w czasie rzeczywistym, czyli po wpisaniu adresu do strony www i naciśnięciu "enter". Comodo używa do ochrony tylko filtry statyczne, czyli te DNSy, które zawierają bazę szkodliwych stron. Filtr dynamiczny nie istnieje, czyli analiza real-time.

Dziennie powstaje ogromna liczba szkodliwego oprogramowania oraz stron phishingowych. Jak się przed tym uchronić? Rozwiązanie Comodo nie jest dobre. Pokazują to nasze testy w Laboratorium Antywirusowym (w menu: LabAV) oraz na przykład test antyphishingowy.

Emsisoft Internet Security Pack 8

- również korzysta tylko z filtrów statycznych. Nie skanuje zawartość strony internetowej w czasie rzeczywistym (brak filtra dynamicznego). Jednak skanuje zawartość pamięci podręcznej przeglądarki, lub kiedy tworzone są nowe pliki, a stare są modyfikowane. Program blokuje stronę kiedy już wie, że jest szkodliwa.

Tak więc, czy Comodo i Emsisoft są słabymi pakietami?

W żadnym wypadku. Programy te prezentują ścisłą czołówkę jeśli chodzi o ochronę anty-malware (z jęz. ang. "malware" - złośliwe oprogramowanie; anty-malware = antywirus). Jednak użytkownik powinien mieć łeb na karku. Programy te nie zawsze ochronią nas przez złośliwym kodem zawartym w JavaScript wykonującym się w przeglądarce. Dobrze byłoby też wiedzieć czy trafiliśmy na np. stronę phishingową. Wbrew pozorom nie jest to trudne do opanowania o czym też pisaliśmy na łamach naszego wortalu.