Rossz ötlet a népszerű VirusTotal szolgáltatását arra használni, hogy összehasonlítsuk a vírusirtó szoftverek teljesítményét. Elmondjuk, hogy miért.

A VirusTotal célja, hogy segítséget nyújtson a fertőzött fájlok és webcímek felismerésében, és a vírusirtó szoftverek mellett egy második véleményt biztosítson. Ezért a feltöltésre kerülő fájlokat vagy megadott webcímeket a szolgáltatás több mint 50 különböző vírusirtó motor segítségével vizsgálja át, majd a végén megjeleníti a vizsgálat eredményét.

Az oldal szerkesztői azonban nem győzik hangsúlyozni, hogy a szolgáltatásnak nem célja az, hogy összehasonlítsa a különböző vírusirtó szoftverek teljesítményét, és azok, akik ilyen célra használják a VirusTotal oldalát, több módszertani hibát is elkövetnek.

Az első ilyen hiba, hogy a VirusTotal hátterében a vírusirtó szoftverek parancssori verziója fut, amelyek nem pontosan ugyanúgy működnek, mint a hagyományos PC-s verziók. Például a vírusirtó szoftverek kereskedelmi verziói használnak magatartás-alapú felismerést, és együttműködnek a termékbe integrált tűzfallal is. Így több olyan kártevőt megállítanak, amelyeket a parancssorból működő motorok nem ismernek fel.

A VirusTotal rendszerében megtalálható több mint félszáz (jelenleg 54) biztonsági megoldás közül nem mindegyik ugyanúgy működik. Az asztali megoldások együtt találhatóak az adatbázisban a határvédelmi megoldásokkal. Az utóbbi csoport heurisztikája sokszor agresszívebbre van állítva, mivel a téves riasztás (false positive) sokkal kevesebb negatív hatással jár a határvédelem esetében. Így egyszerűen egyik csoport számára sem fair, hogy közvetlenül összehasonlítsuk a másik csoporttal.

A harmadik érv végül, hogy a VirusTotalban működő biztonsági szoftverek beállításai – az egyes gyártók kívánságának megfelelően – sokszor különböznek a kereskedelmi forgalomban kapható szoftverek alapbeállításaitól.

Ez csak három példa volt arra, hogy miért ne használjuk a VirusTotal szolgáltatását arra, hogy a különböző vírusirtó szoftverek teljesítményét egymással összehasonlítsuk. Ha szeretnénk összevetni egymással a védelmi szoftvereket, akkor az olyan független tesztlaboratóriumok eredményeit tekintsük meg, mint a Virus Bulletin.