您看到Google提取了什么吗?
本月我们遇到了两个问题,我们的客户网站对于访问者来说是完美的,但是 谷歌搜索控制台 正在报告错误。 在一种情况下,客户端尝试使用 JavaScript 编写一些内容。 在另一种情况下,我们发现另一个客户端正在使用的托管正确地重定向了访问者......但不是 Googlebot。 结果,网站管理员继续生成 404 错误,而不是遵循我们实施的重定向。
Googlebot是Google的网络抓取机器人(有时也称为“蜘蛛”)。 抓取是Googlebot发现要添加到Google索引的新页面和更新页面的过程。 我们使用大量计算机来获取(或“抓取”)网络上数十亿个页面。 Googlebot使用一种算法过程:计算机程序确定要爬网的站点,从每个站点获取的频率以及获取的页面数量。 来自Google: Googlebot的
Google会从浏览器中获取,抓取和捕获您的页面内容。 虽然Google可以 爬 脚本,它确实 不能 意味着它将永远成功。 仅仅因为您在浏览器中测试了重定向并且它有效,并不意味着 Googlebot 正确地重定向了该流量。 在我们弄清楚他们在做什么之前,我们的团队和托管公司之间进行了一些对话……而找出答案的关键是使用
通过谷歌获取信息 网站管理员中的工具。Fetch as Google 工具允许您在您的网站中输入路径,查看 Google 是否能够抓取它,并像 Google 一样实际查看抓取的内容。 对于我们的第一个客户,我们能够证明 Google 没有像他们希望的那样阅读脚本。 对于我们的第二个客户,我们能够使用不同的方法来重定向 Googlebot。
如果你看到 抓取错误 在网站站长中(位于“运行状况”部分中),使用“以Google身份提取”来测试您的重定向并查看Google正在检索的内容。