假设您是二手电子产品的在线供应商。 您的业务取决于希望二手iPad找到最优惠价格的那个人。 但是，如果竞争对手抓住您的整个价目表以使您的价格 恰好 超过您的价格，您会不会很高兴。 在防止大量抓取您的内容的同时，如何允许用户完全访问？ 好吧，您可以使用ScrapeDefender，这是今天发布的基于云的防刮擦解决方案。 我与ScrapeDefender的首席执行官Robert Kane谈了产品的工作原理。
谁需要它？
凯恩说：“我们已经在与航空公司，消费电子产品，金融市场以及更多的Beta客户合作。” “任何发布许多重要内容，价目表，房地产的网站…所有这些内容都可以大规模收获。” 凯恩指出，尽管有些抓取工具使用简单的脚本，但其他抓取工具则试图通过更慢地捕获网站或使用多个机器人来伪装成人类。 凯恩总结说：“车主面临的挑战是，如何让世界进入并阻止未经授权的机器人。”
这就是ScrapeDefender的用武之地。“我们的显示器是一种被动工具，例如Google Analytics（分析），” Kane说。 “您在站点上插入一行代码，以便我们可以24/7进行监控。网页标题中仅一行代码。由于它是被动的，因此对您的生产网络没有影响。”
在线仪表板
ScrapeDefender客户可以查看所有被阻止的抓取活动的概述，但也可以深入了解所有详细信息。 凯恩（Kane）演示了该系统，向我展示了引起危险信号的各种活动。 许多非常简单。 刮板的IP地址趋向于进行比人类更大量的站点访问和页面点击，并且倾向于在很短的时间内停留在任何页面上。 即使他们试图变慢并避免检测，也可以看到一个模式。 人们的访问通常带有推荐人字段。 抓取漫游器的访问从未如此。 所有这些标准都有助于整体风险评分。 足够高的分数几乎总是可以识别抓取活动。
凯恩指出：“复杂的刮板使用多个IP地址。” “但是，即使IP不同，我们也使用数字指纹来匹配相关的会话。它可能是在不同计算机或不同虚拟机上运行的脚本，但是指纹是相同的。
刮板，无刮擦！
我问一旦发现刮板会发生什么。 凯恩说：“我们通过两种方式做到这一点。” “我们提供了可以对其进行阻止的安全模块，但是我们发现与我们合作的组织都拥有自己的防火墙。因此，我们拥有可以将可疑IP地址发送到其防火墙的API。 ”
那么，费用是多少？ 起步价为每月79美元，可扩展至任何规模的网站。 凯恩说：“有人上周与我们联系。关于 每天 有2500万页面访问量的网站……我们支持。”
该公司将针对新客户对约150个与刮擦相关的漏洞进行扫描，但是任何人都可以运行免费扫描以检查其中的一部分。 只需访问ScrapeDefender网站并输入域名即可。 几分钟后，您将得到答案。
未来
凯恩说：“我认为，现在的抓取与早期的防病毒业务类似。这是一个巨大的机会。每个人都必须拥有它。” 他指出，Snapchat可能已经使用该技术来阻止460万用户数据的收集，从而避免了最近Snapchat垃圾邮件的激增。
凯恩说：“ CAPTCHA并不是解决方案。” “即使可行，他们是否还没有听说过CAPTCHA农场？真正的解决方案是查看行为并阻止抓取行为。”
是否有足够的网站所有者会选择支付防刮擦解决方案还有待观察。 我将看一看这是如何进行的。
