Deepcrawl评论与评分

自从我们第一次研究以来，DeepCrawl的价格便有所上涨。 现在，该工具的起价为每月89美元，按月计​​费； 每年结算时为$ 81.50）。 这比以前的价格高出约10美元，因此对于大多数搜索引擎优化（SEO）工具客户而言，这应该不是问题。 但是，可能让您感到困惑的是它的设计重点：此工具仅用于一件事和一件事：由内而外，自上而下的网站爬网。 SEO工具通常可以分为三大类。 首先是临时关键字研究，它可以帮助您找到最合适的搜索页面，以使您的内容排名更高。 接下来，正在进行位置监控，这是您如何跟踪搜索位置以识别您在哪里获得和失去的位置。 最后，进行爬网，其中，网络bot解析单个网站，或者系统地爬网并索引整个Internet。 DeepCrawl不会进行整个Internet的爬网，但是它将为您的网站提供尽可能全面的SEO“全身扫描”。

这种深站点爬网在许多方面对企业有用。 DeepCrawl是一个工具，适合希望突出显示站点问题的新手用户或自定义其爬网的高级用户，但对数据访问没有任何限制。 抓取还可以通过实时和历史上下文更轻松地监视站点运行状况，使企业能够逐年比较抓取并深入分析各种趋势和报告类型。 通常，您需要在SEO的三个类别中使用多种工具的组合才能获得最有效的策略，而网站搜寻器是您确定自己的网站和登录页面的优缺点的方式。

编辑精选SEO工具Moz Pro，SpyFu和AWR Cloud具有更深入的关键字和位置监控深度，但几乎不具备爬网和站点审核功能。 因此，例如，如果您使用“编辑选择”工具之一或特定于关键字的产品（例如KWFinder.com）来标识目标搜索引擎结果页（SERP）并找到理想的内容排名，则可以运行对网站的体系结构进行DeepCrawl扫描，以生成页面细分，并确定您的网站需要改进和解决的特定SEO问题，以便对该页面进行排名。 弄清楚为什么您的内容为什么在监视工具（如AWR Cloud）中跟踪的搜索排名中排名下降，或者对您的网站为何遭到Google搜索罚款以及如何恢复的原因进行了根本原因分析，同样如此。 SEO策略迟早总会重新回到审核您自己的网站上。 那是DeepCrawl唯一的工作。

定价和计划

如前所述，DeepCrawl的起价为每月81.50美元，按其Starter计划每年（每月89美元）计费，该计划附带100, 000个活动URL，五个活动项目以及完整的应用程序编程接口（API）访问权限。 大多数SEO工具为企业层保留API访问权限，这对于想要不使用企业价格标签进行深度自定义的DeepCrawl用户而言无疑是一个加分。

自从我们上次审查该工具以来，发生的另一处变化是该公司已取消了其他定价计划。 对于那些希望在线注册该服务的人，有一个入门计划，仅此而已。 现在，仅在另一种计划类型中可以使用更多高级功能和更多服务选项：公司计划。 除了“定制”定价外，这里没有太多细节，我们认为这是指致电公司代表，以便他们可以根据您的需求量身定制服务和定价计划。

网站检索

DeepCrawl中的网站爬网过程以快速的四步设置开始。 在任何一个爬网中，您最多可以包含五个来源，站点地图，网站，分析，反向链接和URL列表。 这样做的目的是通过使用其他爬网工具（例如“导致流量的孤立页面”）中找不到的特定指标，轻松地确定网站架构中的差距。 DeepCrawl旨在为用户提供有关其网站技术状况的完整概述，并提供可操作的数据和见解，以提高SEO可见度并将自然流量转化为收入。

当您注册免费的DeepCrawl试用版时，该界面首先会将您带到项目仪表板。 为了设置PCMag Test项目，我输入PCMag.com作为主域。 第二步是为爬网选择数据源，其中包括网站本身，PCMag的站点地图以及可以使用有效的Google Analytics（分析）帐户访问的分析。 您还可以通过上传特定反向链接或URL列表的CSV文件，在域内添加特定反向链接和URL目标参数（例如，如果您已经在关键字研究工具中确定了目标页面）。 页面底部还有一个弹出框，用于观看有关如何设置DeepCrawl项目和爬网的视频教程。

第三步让您设置爬网本身的参数。 我能够将抓取速度从每秒一个URL切换到每秒50个URL。 从那里，我可以选择从PCMag主页设置扫描深度应达到多少“爬网级别”，并设置爬网应停止的最大URL数。 我的免费试用版适用于入门计划，因此我的网址上限为100, 000。 最后一步是设置这是一次性爬网还是周期性爬网，可以是每小时，每天，每周，每两周，每月或每季度一次，并可以选择设置爬网的开始时间和结束时间。

如果您需要定期进行站点审核，但是要根据选择的计划谨慎设置URL限制，这是一项重要功能。 还有一些更高级的设置可用于更严格的爬网限制，排除的URL，URL重写和API回调，但是非技术性SEO用户不一定需要使用这些设置。 从那里，我单击“开始抓取”，并在几分钟后完成抓取后收到一封电子邮件。

在完成的抓取仪表板中，您将立即面对一堵信息墙。 如果您知道要查找的内容，则顶部会出现两个搜索栏，以找到特定的URL或网站架构特定区域的报告。 从正文内容和社交标签到失败的URL和网站重定向，这可能是任何东西。 总体而言，DeepCrawl在我的URL上运行了175个报告（在免费试用中，报告的上限为10, 000多一点），并发现了30个网站问题，并从首页深入抓取了六个“级别”或链接。

仪表板主页面提供了所有当前网站问题的列表明细，您可以从中向下钻取到特定的URL，DeepCrawl将在其中突出显示页面错误，例如重复的内容，损坏的页面，多余的链接或带有标题，说明和需要改进SEO的元数据。 在该列表的旁边，我找到了一个交互式饼图页面细分，该页面细分了10, 000多个已爬网页面中最普遍的问题。

自从我们进行初步审查以来，DeepCrawl还更新了其用户界面（UI），在每个页面上添加了面包屑，以便更轻松地导航到平台的其他部分，并添加了仪表板部分来评估一个地方的所有正在运行的爬网。 对于我的域，我发现，尽管49％的页面（主要是“主要”页面）没有出现重大问题，但表面以下的页面却有30％处理5xx服务器错误，而5％的页面有URL失败，并且16％的页面“不可索引”。 根据DeepCrawl的说法，5xx错误很可能是由于PCMag网站阻止了爬网的方面，或者是由于爬网速度太快而导致服务器无法处理。 DeepCrawl还阐明了标记为“主要”的页面不一定没有问题，并且仍然可以进行检查以包括缺少的页面，排除低价值的页面以及页面上的SEO建议。

我测试过的其他一些爬网工具（包括Ahrefs和Majestic）也为您提供了此类细分，包括基本的站点问题以及反向链接索引，这意味着从其他站点到您的站点的传入超链接。 其他人没有做的就是深入研究DeepCrawl所做的事情，特别是对于诸如使用更安全的HTTPS协议（而非HTTP）保护的页面等故障，谷歌算法在对页面进行排名时会考虑这一点。

DeepCrawl还为您提供了智能的页面分组（您可以在设置爬网时在“高级设置”中找到），这意味着您的采样基于页面的百分比而不是数量。 以这种方式对页面进行分组很重要，因为它为您提供了跨爬网的一致采样。 可以将其视为一个科学实验：如果您是电子商务网站，则对20％的产品页面进行爬网，在以下爬网中，Deepcrawl将在相同的20％的范围内扫描已添加，删除，丢失或更改的页面每个报告。 由于您将爬网定位到您感兴趣的特定页面子集，因此这也减少了爬网时间和成本。

同样，DeepCrawl的自定义提取可用于包括或排除您选择的参数。 这是一项更高级的功能，旨在进行更专业的爬网以磨练您的焦点区域。 该公司还为非技术用户添加了预设自定义提取，因为编写自定义提取需要对正则表达式语言（Regex）的了解。

进阶报告

除了GSC集成之外，DeepCrawl的最显着增强是其报告功能，在过去的一年中，DeepCrawl为此添加了75份新报告。 除了基础知识（共享和导出报告，或为该报告添加任务）以外，您还可以单击“共享”按钮以获取该报告的可共享链接。 然后，您可以将报告通过电子邮件发送给任意数量的收件人。 您还可以将报告下载为CSV文件或XML站点地图，并使用自定义品牌自定义报告。

基于任务的功能特别有用。 DeepCrawl允许我为特定报告添加任务（在本例中为5xx服务器错误列表），以对该SEO漏洞采取措施。 DeepCrawl不仅可以安排和自定义爬网，还可以使用任务管理器跟踪进度以及管理问题和截止时间工作流。一个好的工具的标志不仅是发现问题或机会，还可以帮助您采取行动。有针对性的建议。 我可以选择设置一个开放任务或固定任务。 指定低，中，高或关键优先级； 设定截止日期，然后将该任务分配给我们团队中的特定人员。 DeepCrawl为我解决网站的SEO问题提供了切实的途径。 只有SpyFu和KWFinder.com的有针对性的建议才具有执行SEO报告的相同功能，其他爬网程序都没有包含这种基于任务的操作功能。

DeepCrawl改进了左侧导航搜索栏，也可以使用关键字查找报告（即使这些关键字未出现在报告的实际标题中），并可以通过任何相关的URL或链接指标过滤报告。 报告和类别屏幕上还提供了许多新的数据可视化，包括故障图，相关图，新趋势图和UX改进（如图形滚动和切换），以及对给定图中出现的特定指标的交互式解释。 报告仪表板用户界面也很灵活，这意味着您可以拖放要显示的报告。

单击任何报告中的任何URL，将为您提供每页的详细指标。 在所有的逐个URL报告中，DeepCrawl使用一个称为DeepRank的自定义指标，该指标测量与Google的PageRank算法类似计算的链接的“内部权重”。 它是DeepCrawl的URL授权度量标准，范围为0-10，显示您最重要的URL或需要最完善的URL。 因此，尽管PCMag主页和首页均位于8-10范围内，但某些问题页面的DeepRank却接近于零。

除了与Google Analytics（分析）同步外，DeepCrawl还包括一部分数据，该数据细分了桌面和移动页面，不仅用于响应式网页设计，还包括所有移动配置，包括单独的移动和桌面页面，动态页面和AMP页面。 这些类型的关键移动故障也可以在SpyFu和SEMrush中找到，但不能深入到DeepCrawl的指标中，也不能在我测试过的任何其他爬网程序和反向链接跟踪工具中找到，包括LinkResearchTools。

自从我们进行初步审查以来，DeepCrawl的最大功能更新是与Google Search Console（GSC）的集成，以及更高级的逐页用户体验（UX）和网站性能指标。 通过集成，您可以将DeepCrawl的现有站点性能洞察力与GSC的“搜索分析”报告中的自然搜索信息联系起来。 通过将您的Search Console属性添加为爬网设置中的URL源，DeepCrawl现在能够为搜索结果中出现的每个索引页面提供展示，点击，点击率（CTR）和平均排名指标。 Google的Search Analytics报告在GSC界面中的URL限制为1000个，但是通过DeepCrawl访问该报告可以解决该问题。

其他SEO工具（例如SEMrush和Majestic）也与Google Search Console集成，但是DeepCrawl的集成是我们测试过的唯一工具，可以用来提供特定于设备的SERP指标。 通过集成，DeepCrawl发布了10个新报告，两个新图表以及更深的台式机/手机/平板电脑比较。 设备故障和比较现在可以逐个国家获取GSC数据，可索引和不可索引页面的搜索印象和有效性，从图像搜索获取流量的抓取页面以及Google AMP页面上的指标。

此处的一项独特功能是衡量移动/ AMP页面接收桌面流量的方法，反之亦然，这意味着DeepCrawl将显示您的页面在错误的设备上排名。 这意味着DeepCrawl会爬行所有单独的移动或AMP URL，以突出显示桌面内容和移动内容之间的差异和不匹配。 报告会检查所有高价值网页是否都存在于移动设备上。

DeepCrawl还提供有关社会标签的数据，例如带有有效Twitter卡的页面，以及一个标签，该标签仅按加载时间或“获取”页面所需的时间显示页面性能。 最后，该工具提供网站迁移报告，以分析迁移期间的实时网站和登台网站，并专门在HTTP和HTTPs页面上报告。 这些是您可以在网站监视工具中找到的指标，但就SEO而言，仅在识别UX较差的页面并确保顺利进行网站迁移时，它就很有价值。

在现场爬行显微镜下

DeepCrawl是我们经过广泛测试的最佳爬网工具。 它提供了极其深入的域扫描和SEO报告功能，其中包含极其精细的数据和指标，对于SEO新手而言，这些信息和指标可能确实令人难以承受。 它提供的许多站点体系结构映射和域分析可以说更适合于开发人员和IT。 PCMag没有审查beta功能，但是DeepCrawl还在测试实验性的Site Explorer模式，使您可以直观地浏览站点架构。

与KWFinder.com在临时关键字研究中的主导地位一样，DeepCrawl对爬网的关注既是它的福祉，也是它的诅咒。 其功能范围狭窄，使DeepCrawl无法与更多成熟的SEO平台Moz Pro和SpyFu一起赢得编辑选择奖。 但是，就独立的爬网功能而言，DeepCrawl是一款功能强大的SEO显微镜，可以从顶部到底部扫描您的网站或竞争对手的网站。