|
Post by account_disabled on Dec 26, 2023 8:51:30 GMT
Search Console 工具将对您有很大帮助。URL 检查工具也可供您使用。 要向 Google 发出抓取请求,您可以使用两种解决方案: 直接提交URL到索引,适合抓取少量链接的情况, 提交完整的站点地图,这是请求抓取网站或大量 URL 的最佳替代方案。 网址检查 什么 WhatsApp 号码数据 是抓取预算储备? 为了更好地理解“抓取预算储备”的概念,重要的是要了解每个网站都从某种资源中受益,具体取决于其知名度、重要性、更新频率、所包含的页面数量……有几个标准在发挥作用。 如果您的网站有包含 4XX 错误或大量过时内容的页面,请注意,用于您网站的部分抓取预算因此被这些页面的探索所消耗。这意味着 Googlebots 将花费时间抓取这些页面,但结果证明这些页面毫无用处。 当他们忙于这样做时,他们不会访问其他页面,这无疑对您的品牌来说更有趣且更具战略意义。没有什么比无谓地浪费你的抓取预算更好的了…… 与其尝试最大化 Google 抓取的 URL 数量,不如更多地关注所有不必要的页面。总而言之,这些 URL 无疑构成了重要的抓取预算储备,值得利用! 什么会减慢 Google 抓取速度? 有几个因素直接或间接影响谷歌机器人的抓取频率。面临的挑战是快速识别那些直接影响您网站的因素,以便快速干预。 在最常见的情况下,我们发现: 爬行陷阱,或法语“爬行陷阱”。这些或多或少重要的网站结构问题经常被指责,并可能严重阻碍您的搜索引擎优化。它们会显着减慢爬虫的工作速度,例如在存在无限数量的不相关 URL 的情况下。然后,机器人会迷失在网站架构和页面的深渊中,而不是聚集在您的战略页面上。分面导航或自动生成的可配置 URL 都是很好的例子。 你好,浪费抓取预算! 更新网站的频率。让我们想象一下,Googlebots 通常每周访问您的网站 4 次,并且总是找到新的内容来建立索引。如果您突然停止更新网站,机器人将继续访问该网站,但在访问期间不会注意到任何更新。经过几次不成功的访问后,他们就会养成减少抓取您网站的习惯。相反,定期刷新内容可以以某种方式“促进”您的网站在此页面上的抓取。 网站加载时间。一个缓慢的网站每次爬虫经过时只会看到它的几个页面被爬行,而一个高性能的网站会看到它的探索率增加。 重定向和重定向循环。对于机器人来说,真正的死胡同,这种类型的链接白白浪费了大量的爬行预算! 架构过于复杂和深层次。此类问题意味着相关性较低的页面被访问,而最有趣的页面却没有被访问…… 糟糕的分页。例如在论坛上,机器人访问第 2、3、4、5 页不一定有用! JavaScript 脚本加载过多。对于服务器来说,爬行 JavaScript 代码需要回收所有资源,而且漫长而乏味,这实际上是对爬行预算的浪费…… 重复的内容。如果您的网站包含内部重复内容,您的抓取预算将自行消耗,因为机器人会多次传递相同的内容...就像常见问题解答等低质量内容不必要地消耗抓取预算一样... 移动优先。将专用于移动设备的 Googlebot 与专用于桌面设备的 Googlebot 进行比较非常重要。
|
|