Europe Dataset

同样，因为整个子域都被重定向到正确的域。 由于删除请求无法按照我期望的方式工作，这让我有点恼火，所以我想再给 一个月时间，看看它是否能找到 重定向。至少再过一个月，索引中没有页面被删除。 这证实了我的怀疑，即 在查找不在网络链接图中的内容的 重定向方面做得相当糟糕。我以前也发现过这种情况，我更改了 ，更新了所有内部链接以指向新 ，并重定向了旧 。 似乎不会返回其索引并重新抓取其在标准网络抓取中未找到的页面，以查看它们是否已被删除或重定向（或者如果它这样做了，它的速度非常非常慢）。 由于 方法没有成功，我决定改用 文件来阻止 。


这里的问题是，显然，我不想编辑我的主要 来阻止机器人，因为这会阻止对我的主要域的抓取。 相反，我创建了一个名为 的文件，其中包含通常的阻止说明： 用户代理：* 禁止： 然后我将 文件中的重定向条目替换 波斯尼亚和黑塞哥维那数字数据 为如下内容： _ ^$ 这基本上意味着，如果请求的主机是并且请求的路径是，则改为提供 文件。 这意味着我实际上从这个子域提供了一个不同的 文件。完成此操作后，我返回网站管理员工具，提交了网站删除请求，这次请求被接受了。“嘿，瞧”，我的重复内容消失了！为了保险起见，我用原始重定向命令替换了 _，以确保任何真实用户都能正确重定向。


减少、再利用、回收。 这一切都有点难以解决，我怀疑许多在 上托管的网站管理员甚至都没有意识到这是一个问题。这不仅限于 ，因为许多其他托管服务提供商也创建了替代 条目。 值得找出为网站提供服务的 服务器配置了哪些 条目（这并不总是那么容易，但您可以使用访问日志分析来了解），然后确保重定向到规范域。如果您需要删除任何索引页面，那么希望您可以执行与我上面提出的解决方案类似的操作。 谷歌可以采取一些措施来帮助解决这个问题： 更加智能地检测同一 地址的重复域名条目。 将一些警报放入网站管理员工具中，以便网站管理员知道存在潜在问题。