也可以从各种其他来源找到

jetahix

您可以在此处找到各种报告，这些报告可识别抓取行为的变化、抓取问题，并提供有关 Google 如何抓取您的网站的详细信息。 请务必查找标记的爬网状态， 如下所示。 还有上次抓取页面的时间戳。 如果您想查看所有机器人和用户的点击，您需要访问日志文件。根据您的主机和设置，您可能可以访问 Awstats 和 Webalizer 等工具，如使用 cPanel 共享主机中所示。这些工具显示日志文件中的一些聚合数据。 对于更复杂的设置，您将需要访问原始日志文件（可能还有多个源）来存储数据。大型项目可能还需要专门的工具，例如允许您存储、处理和可视化日志文件的 ELK（elasticsearch、logstash、kibana）堆栈。还有 Splunk等日志分析工具。 抓取预算要考虑什么？ 所有网址和请求都计入您的抓取预算。


这包括替代 URL，例如 AMP 和 m-dot 页面、hreflang、CSS、嵌入式内容以及带有 XHR 请求的 JavaScript。 这些 URL可以通过页面 巴哈马 WhatsApp 号码 抓取和分析找到，也可以从各种其他来源找到，包括站点地图、RSS 提要、提交 URL 以在 Google Search Console 中建立索引以及使用Indexing API 还有多个 Googlebot 共享抓取预算。您可以在 GSC 的抓取统计报告中查看抓取您网站的不同 Googlebot 的列表。 谷歌调整其抓取方式 每个网站都有不同的抓取预算，由多个不同的输入组成。 抓取需求 抓取需求只是指Google希望在您的网站上抓取多少内容。受欢迎或发生重大变化的页面将被更频繁地抓取。 热门页面或具有更多链接和PageRank 的页面通常优先于其他页面。请记住，Google 必须以某种方式优先考虑抓取页面，而链接是确定网站上哪些页面更受欢迎的简单方法。但这不仅仅是您的网站，Google 还必须找到一种方法来对互联网上每个网站的每个页面进行优先级排序。 Site Explorer的“最佳链




接” 报告可以向您显示哪些页面可能被更频繁地抓取。它还会向您显示 Ahrefs 上次抓取您页面的时间。 在确定抓取需求时，Google 还会查看哪些页面最常被编入索引。他们希望更频繁地抓取必须提供的页面，以确保它们是最新的。 还有上古的概念。当 Google 确定某个页面未发生更改时，它会降低抓取该页面的频率。例如，如果您抓取一个页面，1天后没有看到任何变化，它将等待3天，然后再次抓取它，然后是10天、30天、100天等。爬网之间没有实际设置的等待时间段。然而，频率随着时间的推移而降低。但是，如果整个网站发生重大变化或者您的网站发生移动，Google 通常会提高其抓取速度，至少是暂时提高。 爬行速度限制 抓取速率限制是您的网站可以支持的抓取量。网站可以在遇到服务器稳定性问题（例如速度减慢或错误）之前执行一定量的爬网。