301
我不会再链接到它了。但是，如果有些人仍然以某种方式找到该 URL，我们可以使用 301 作为一种经济手段，最终效果会很好……我会说它甚至比规范和 noindex 更能节省抓取预算，因为 Google 甚至不必在偶尔检查页面时查看它，因为它只需遵循 301 即可。
它将解决我们的索引问题，并将传递 PageRank。但显然，这里的代价是用户也无法访问此 URL，所以我们必须接受这一点。
总结一下，我们该如何运用这些策略呢？如果你想要一个抓取预算项目，我建议你做哪些活动呢？
其中一个不太直观的因素是速度。正如我之前所说，Google 会分配一定时间或资源来抓取特定网站。因此，如果您的网站速度非常快，服务器响应时间短，HTML 轻量级，那么他们只需在相同时间内浏览更多页面即可。
因此，这虽然违反直觉，但却是解决这个问题的好方法。日志分析，这有点传 奥地利手机号码数据 统。通常，很难直观地判断网站上的哪些页面或哪些参数实际上消耗了您的所有抓取预算。大型网站上的日志分析通常会产生令人惊讶的结果，因此您可以考虑这一点。然后实际使用其中一些工具。
因此，对于我们认为用户甚至不需要查看的冗余 URL，我们可以 301 处理。对于用户确实需要查看的变体，我们可以查看规范或 noindex 标签。但我们可能也希望首先避免链接到它们，这样我们就不会因为稀释或死胡同而导致这些规范化或 noindex 变体在一定程度上失去 PageRank。
Robots.txt 和 nofollow，正如我在讨论时所暗示的那样，这些策略应该谨慎使用，因为它们确实会导致 PageRank 死胡同。最后，我从 Ollie HG Mason 的一篇博客文章中获得了一条最新或更有趣的提示，我可能会在下面提供链接，事实证明，如果您的网站上有一个仅用于新 URL 或最近 URL（最近更改的 URL）的站点地图，那么由于 Googlebot 非常渴望获得新鲜内容，就像我说的，它们将开始频繁抓取此站点地图。因此，您可以使用这种策略将抓取预算引导至新 URL，这样每个人都会受益。
Googlebot 只想看到最新的 URL。您可能只希望 Googlebot 看到最新的 URL。因此，如果您的站点地图只用于此目的，那么每个人都是赢家，这可能是一个非常好且易于实施的技巧。就这样。希望您觉得这很有用。如果没有，请随时在 Twitter 上告诉我您的技巧或挑战。我很好奇其他人如何处理这个话题。