我们如何测试防病毒和安全软件

每个防病毒软件或安全套件产品都有望保护您免受各种安全风险和烦恼。 但是他们实际上履行了诺言吗？ 在评估这些产品进行审查时，我们以许多不同的方式对它们的要求进行了测试。 每个评论都会报告我们的测试结果以及该产品的动手经验。 本文将更深入地介绍这些测试的工作原理。

当然，并非每种测试都适用于每种产品。 许多防病毒实用程序都包含针对网络钓鱼的防护，但有些则没有。 大多数套件都包含垃圾邮件过滤功能，但有些套件省略了此功能，某些防病毒产品将其添加为奖励。 无论给定产品提供什么功能，我们都会对其进行测试。

测试实时防病毒

每个功能强大的防病毒工具都包括一个按需扫描程序，用于查找和销毁现有的恶意软件侵扰；以及一个实时监视器，用于抵御新的攻击。 过去，我们实际上维护了一组感染了恶意软件的虚拟机，以测试每种产品清除现有恶意软件的能力。 恶意软件编码的进步使使用实时恶意软件进行测试变得非常危险，但是我们仍然可以行使每种产品的实时保护。

每年初春，大多数安全厂商都完成了年度更新周期后，我们会收集一组新的恶意软件样本进行此测试。 我们从提供最新的恶意软件托管URL的供稿开始，下载数百个示例，然后将其数量减少到可管理的数量。

我们使用各种手工编码工具分析每个样本。 一些样本会检测它们何时在虚拟机中运行，并避免恶意活动。 我们根本不使用那些。 我们寻找各种不同的类型，并寻找对文件系统和注册表进行更改的示例。 通过一些努力，我们将集合缩减为一个可管理的数目，并准确记录每个样本所做的系统更改。

为了测试产品的恶意软件拦截功能，我们从云存储下载了一个样本文件夹。 某些产品的实时保护立即生效，从而消除了已知的恶意软件。 如果需要触发实时保护，我们单击每个样本，或将集合复制到新文件夹。 我们注意到该防病毒软件消除了多少样本。

接下来，我们启动剩余的每个样本，并注意防病毒软件是否检测到了它。 无论何时发生检测，我们都会记录检测到的总百分比。

仅检测恶意软件攻击是不够的。 防病毒软件实际上必须阻止攻击。 一个小的内部程序会检查系统，以确定恶意软件是否设法进行了任何注册表更改或安装了其任何文件。 对于可执行文件，它还会检查这些进程中是否有任何一个在实际运行。 一旦测量完成，我们就关闭虚拟机。

如果产品阻止恶意软件样本安装所有可执行跟踪，则它会获得8分，9分或10分，这取决于产品防止非执行跟踪使系统混乱的程度。 检测恶意软件但未能阻止安装可执行组件将获得5分，即半分。 最后，如果尽管防病毒尝试进行保护，但实际上正在运行一个或多个恶意软件进程，则仅值3分。 所有这些分数的平均值成为产品的最终恶意软件阻止分数。

测试恶意URL阻止

消除恶意软件的最佳时间是到达您的计算机之前。 许多防病毒产品都与您的浏览器集成在一起，使它们远离已知的恶意软件托管URL。 如果没有在该级别提供保护，则总是有机会在下载期间或下载后立即清除恶意软件负载。

尽管一个季节的基本恶意软件拦截测试使用同一组样本，但是我们用来测试基于Web的保护的恶意软件托管URL每次都不同。 我们从伦敦的MRG-Effitas获取最新的恶意URL的提要，并且通常使用不超过一天的URL。

使用专用的小型实用程序，我们在列表中列出了相应的信息，依次启动了每个URL。 我们会丢弃所有未真正指向恶意软件下载的内容，以及任何返回错误消息的内容。 对于其余的内容，我们注意到防病毒软件是阻止访问URL，清除下载还是不执行任何操作。 记录结果后，该实用程序将跳转到列表中不在同一域中的下一个URL。 我们会跳过所有大于5MB的文件，并且还会跳过同一测试中已经出现的文件。 我们一直坚持下去，直到我们为至少100个经过验证的恶意软件托管URL积累了数据。

此测试中的分数仅是防病毒阻止其下载恶意软件的URL的百分比，无论是通过完全切断对该URL的访问还是清除已下载的文件。 分数差异很大，但是最好的安全工具可以管理90％或更高的分数。

测试网络钓鱼检测

当您可以欺骗人们放弃其密码时，为什么要使用精心设计的窃取数据的木马呢？ 这就是创建和管理网络钓鱼网站的犯罪分子的心态。 这些欺诈性站点模仿银行和其他敏感站点。 如果您输入登录凭据，那么您就已经放弃了王国的密钥。 网络钓鱼与平台无关。 它可以在支持浏览Web的任何操作系统上运行。

这些假冒网站通常在创建后不久就会被列入黑名单，因此为了进行测试，我们仅使用最新的网络钓鱼URL。 我们从面向网络钓鱼的网站收集这些信息，以支持那些被举报为欺诈但尚未验证的网站。 这迫使安全程序使用实时分析，而不是依赖简单的黑名单。

我们为此测试使用了四台虚拟机，其中一台被测试产品，一台使用内置于Chrome，Firefox和Microsoft Edge的网络钓鱼防护。 一个小型实用程序将在四个浏览器中启动每个URL。 如果其中任何一个返回错误消息，我们将丢弃该URL。 如果结果页面没有主动尝试模仿另一个站点，或者没有尝试捕获用户名和密码数据，我们将其丢弃。 对于其余部分，我们记录每个产品是否检测到欺诈行为。

在许多情况下，被测产品甚至不能像一个或多个浏览器中的内置保护那样好。

测试垃圾邮件过滤

如今，大多数消费者的电子邮件帐户已被电子邮件提供商或运行在电子邮件服务器上的实用程序清除了垃圾邮件。 实际上，垃圾邮件过滤的需求正在稳步减少。 奥地利的测试实验室AV-Comparatives于几年前测试了反垃圾邮件功能，发现仅Microsoft Outlook就能阻止近90％的垃圾邮件，而且大多数套件的性能都更好，其中一些套件更好。 该实验室甚至没有承诺继续测试面向消费者的垃圾邮件过滤器，并指出“一些供应商正在考虑从其消费者安全产品中删除反垃圾邮件功能。”

过去，我们使用真实的帐户运行自己的反垃圾邮件测试，该帐户同时获得垃圾邮件和有效邮件。 与其他动手测试相比，下载数千条消息并手动分析“收件箱”和“垃圾邮件”文件夹内容的过程花费了更多的时间和精力。 在重要性最低的功能上花费最大的精力不再有意义。

关于套件的垃圾邮件过滤器，仍有一些要点要报告。 它支持哪些电子邮件客户端？ 可以与不受支持的客户端一起使用吗？ 它仅限于POP3电子邮件帐户，还是可以处理IMAP，Exchange甚至基于Web的电子邮件？ 展望未来，我们将仔细考虑每个套件的反垃圾邮件功能，但是我们将不再下载和分析成千上万的电子邮件。

测试安全套件的性能

当您的安全套件忙于监视恶意软件攻击，防御网络入侵，阻止浏览器访问危险的网站等等时，显然是在使用系统的某些CPU和其他资源来完成其工作。 几年前，安全套件因占用大量系统资源而闻名，以至于影响您自己的计算机使用。 如今情况已经好多了，但是我们仍然运行一些简单的测试来深入了解每个套件对系统性能的影响。

安全软件需要在启动过程中尽早加载，以免发现恶意软件已经处于控制之中。 但是，用户不想等待的时间比重新启动后开始使用Windows所需的时间长。 我们的测试脚本在启动后立即运行，并开始要求Windows每秒报告一次CPU使用率水平。 连续10秒钟（CPU使用率不超过5％）后，它将声明系统可以使用。 减去启动过程的开始（如Windows所述），我们知道启动过程花费了多长时间。 我们对该测试进行了多次重复，并将平均值与不存在套件时多次重复的平均值进行比较。

实际上，您每天可能最多重启一次。 减慢日常文件操作速度的安全套件可能会对您的活动产生更大的影响。 为了检查这种速度变慢，我们给脚本计时，该脚本在驱动器之间移动并复制大量的大型文件。 平均不带套件的几次运行和启用安全套件的几次运行的平均值，我们可以确定套件减慢了这些文件活动的速度。 一个类似的脚本可衡量套件对一个脚本的效果，该脚本可对同一文件集进行压缩和解压缩。

触摸最轻的套件在这三个测试中的平均减慢速度可以小于1％。 另一方面，极少数套房的平均房价为25％，甚至更高。 您可能实际上注意到了笨拙的套件的影响。

测试防火墙保护

量化防火墙的成功并不容易，因为不同的供应商对于防火墙应该做什么应该有不同的想法。 即便如此，我们仍然可以对许多测试进行大量测试。

通常，防火墙有两个任务，可以保护计算机免受外部攻击，并确保程序不会滥用网络连接。 为了测试防御攻击，我们使用一台通过路由器的DMZ端口连接的物理计算机。 这产生了直接连接到Internet的计算机的效果。 这对于测试很重要，因为通过路由器连接的计算机实际上对于整个Internet都是不可见的。 我们使用端口扫描和其他基于Web的测试来测试系统。 在大多数情况下，我们发现防火墙完全将测试系统隐藏在这些攻击之外，从而使所有端口都处于隐身模式。

内置的Windows防火墙可以处理所有端口的隐身操作，因此此测试只是一个基准。 但是即使在这里，也有不同的意见。 卡巴斯基的设计者认为，只要端口处于关闭状态并且防火墙可以主动阻止攻击，隐匿端口就不会有任何价值。

最早的个人防火墙中的程序控制是非常动手的。 每当未知程序尝试访问网络时，防火墙都会弹出查询，询问用户是否允许访问。 这种方法不是很有效，因为用户通常不知道什么动作是正确的。 大多数只会允许一切。 其他人则每次都单击“阻止”，直到他们破坏了一些重要的程序为止。 之后，他们允许一切。 我们使用一个小时制编码的微型浏览器实用程序对该功能进行了动手检查，该实用程序始终会被视为未知程序。

一些恶意程序试图通过操纵或伪装成受信任程序来避开这种简单的程序控制。 当我们遇到老式防火墙时，我们使用称为泄漏测试的实用程序来测试其技能。 这些程序使用相同的技术来逃避程序控制，但没有任何恶意负载。 我们发现越来越少的泄漏测试仍然可以在现代Windows版本下使用。

另一方面，最好的防火墙会自动为已知的正常程序配置网络权限，消除已知的不良程序，并加强对未知程序的监视。 如果未知程序尝试建立可疑连接，则防火墙会在此时启动以将其停止。

软件不是也不是完美的，所以坏蛋会努力寻找流行的操作系统，浏览器和应用程序中的安全漏洞。 他们设计漏洞利用他们发现的任何漏洞来破坏系统安全性。 自然而然地，被开发产品的制造商会尽快发布安全补丁，但在您实际应用该补丁之前，您很容易受到攻击。

最聪明的防火墙会在网络级别拦截这些利用攻击，因此它们甚至永远不会到达您的计算机。 即使对于那些不在网络级别进行扫描的病毒，在许多情况下，防病毒组件也会清除漏洞的恶意软件有效载荷。 我们使用CORE Impact渗透工具来对每个测试系统进行最近的30次攻击，并记录安全产品对它们的防御程度。

最后，我们进行完整性检查，以查看恶意软件编码器是否可以轻松禁用安全保护。 我们在注册表中寻找一个开/关开关，并测试它是否可用于关闭保护功能（尽管自从我们发现产品容易受到这种攻击以来已经有好几年了）。 我们尝试使用任务管理器终止安全过程。 并且我们检查是否可以停止或禁用产品的基本Windows服务。

测试家长控制

家长控制和监视涵盖各种程序和功能。 典型的父母控制实用程序使孩子远离不良场所，监视他们的Internet使用情况，并让父母确定每天何时以及何时允许孩子使用Internet。 其他功能还包括从限制聊天联系人到为危险主题巡逻Facebook帖子。

我们总是执行健全性检查，以确保内容过滤器确实有效。 事实证明，找到色情网站进行测试很容易。 几乎所有由大小形容词和正常覆盖的身体部位名称组成的URL都已经是一个色情网站。 很少有产品未通过此测试。

我们使用一个很小的内部浏览器实用程序来验证内容过滤是否独立于浏览器。 我们发出一个三字网络命令（不，我们不在这里发布），该命令禁用了一些思想简单的内容过滤器。 并且我们检查是否可以通过使用安全的匿名代理网站来逃避过滤器。

只有在孩子们不能干扰计时的情况下，对孩子们的计算机或互联网的使用施加时间限制才有效。 我们验证时​​间安排功能是否正常，然后尝试通过重置系统日期和时间来逃避此功能。 最好的产品的日期和时间不依赖于系统时钟。

之后，只需测试该程序声称具有的功能即可。 如果可以阻止特定程序的使用，我们将使用该功能，并尝试通过移动，复制或重命名该程序来破坏它。 如果它说它从电子邮件或即时消息中删除了不良单词，我们将一个随机单词添加到阻止列表中，并验证它没有被发送。 如果它声称可以限制即时消息联系，则我们在两个帐户之间建立了对话，然后禁止其中一个帐户。 无论程序希望提供何种控制或监视功能，我们都会尽力将其进行测试。

解释防病毒实验室测试

我们没有足够的资源来运行由世界各地的独立实验室进行的详尽的防病毒测试，因此我们密切关注他们的发现。 我们遵循两个颁发证书的实验室和四个定期发布评分测试结果的实验​​室，并使用它们的结果来帮助告知我们的评论。

ICSA实验室和西海岸实验室提供各种安全认证测试。 我们特别遵循其认证，以进行恶意软件检测和恶意软件清除。 安全供应商需要支付对其产品进行测试的费用，并且该过程包括实验室提供的帮助以解决阻止认证的任何问题。 我们在这里看到的事实是，实验室发现产品足以进行测试，并且供应商愿意为测试付费。

设在德国马格德堡的AV测试学院不断通过各种测试来设置防病毒程序。 我们关注的是一个由三部分组成的测试，该测试在三个类别（保护，性能和可用性）的每个类别中均获得最高6分。 要获得认证，产品必须获得10分（没有零）。 最好的产品在此测试中获得了完美的18分。

为了进行保护测试，研究人员将每种产品暴露于AV-Test的100, 000多个样本参考样本以及数千个极为广泛的样本中。 产品在任何时候都可以防止这种侵扰，例如阻止访问恶意软件托管URL，使用签名检测恶意软件或阻止恶意软件运行而获得赞誉。 最好的产品通常可以在此测试中获得100％的成功。

性能很重要-如果防病毒软件明显影响了系统性能，则某些用户将其关闭。 AV-Test的研究人员测量在有和没有安全产品的情况下执行13种常见系统操作所需的时间差异。 这些操作包括从Internet下载文件，在本地和通过网络复制文件以及运行通用程序。 通过平均多次运行，他们可以确定每种产品的影响程度。

可用性测试并不一定就是您想要的。 它与易用性或用户界面设计无关。 而是，它测量了防病毒程序将合法程序或网站错误地标记为恶意或可疑时发生的可用性问题。 研究人员积极地安装和运行着不断变化的流行程序集合，并注意到防病毒软件的任何奇怪行为。 单独的仅扫描测试会检查以确保防病毒程序不会将超过600, 000个合法文件识别为恶意软件。

我们从AV-Comparatives定期发布的众多测试中的四项（以前的五项）中收集结果，该公司位于奥地利，并与因斯布鲁克大学密切合作。 通过测试的安全工具获得标准认证； 那些失败的仅被指定为“已测试”。 如果某个程序超出了必要的最低要求，它可以赢得Advanced或Advanced +认证。

AV-Comparatives的文件检测测试是一种简单的静态测试，可针对100, 000个恶意软件样本检查每种防病毒软件，并通过假阳性测试来确保准确性。 性能测试就像AV测试一样，可以测量对系统性能的任何影响。 之前，我们包含了启发式/行为测试； 该测试已被删除。

我们认为AV-Comparatives的动态整体产品测试最为重要。 该测试旨在尽可能接近地模拟实际用户的体验，从而使安全产品的所有组件都能对恶意软件采取行动。 最后，补救测试从收集到所有被测试产品都可以检测到并挑战安全产品以恢复受感染系统，从而完全删除恶意软件的恶意软件开始。

在AV-Test和AV-Comparatives通常包含20至24种产品进行测试的情况下，SE Labs的报告通常不超过10种。这在很大程度上是由于该实验室测试的性质。 研究人员捕获了现实世界中托管恶意软件的网站，并使用重播技术，以便每个产品都遭受完全相同的驱动下载和其他基于Web的攻击。 这是非常现实的，但是很艰巨。

完全阻止其中一种攻击的程序可获得3分。 如果在攻击开始后采取了措施，但设法删除了所有可执行的跟踪，则有两点值得。 而且，如果它只是终止了攻击而没有完全清除，那么它仍然可以得到1分。 如果不幸的是，恶意软件在测试系统上免费运行，则被测产品将 损失 5分。 因此，某些产品实际上得分低于零。

在另一项测试中，研究人员评估了每种产品在防止错误识别有效软件是否为恶意软件方面的程度，并根据每个有效程序的普遍程度以及错误肯定标识的影响程度对结果进行加权。 他们结合了这两个测试的结果，并在以下五个级别之一认证产品：AAA，AA，A，B和C。

• 2019年最佳安全套件2019年最佳安全套件
• 2019年最佳防病毒保护2019年最佳防病毒保护
• 2019年最佳免费防病毒保护程序2019年最佳免费防病毒保护程序

一段时间以来，我们在动手执行的恶意URL阻止测试中使用了MRG-Effitas提供的样本摘要。 该实验室还发布了我们遵循的两个特定测试的季度结果。 360评估和认证测试模拟了针对当前恶意软件的真实防护，类似于AV-Comparatives使用的动态真实测试。 完全防止样本侵染的产品获得了1级认证。 2级认证意味着至少有一些恶意软件样本在测试系统上植入了文件和其他踪迹，但是这些踪迹在下次重新启动时已被消除。 网上银行认证特别针对金融恶意软件和僵尸网络进行测试。

要获得实验室结果的总体摘要并不容易，因为实验室并不都测试相同的程序集。 我们设计了一个系统，将每个实验室的分数标准化为0到10之间的一个值。我们的实验室结果汇总表报告了这些分数的平均值，实验室测试的数量以及获得的认证数量。 如果只有一个实验室在测试中包含产品，则我们认为这不足以提供总分。

您可能已经注意到，此测试方法列表不涵盖虚拟专用网络或VPN。 测试VPN与测试安全套件的任何其他部分都大不相同，因此我们提供了关于如何测试VPN服务的单独说明。