手动 Excel 分析
但请坚持下去。相信我，这很有趣，而且非常有趣。所以我过去所做的是将 CSV 日志文件导入 Excel，然后我将使用文本导入向导，您基本上可以为此疯狂的事物划定分隔符。因此，无论是空格、逗号还是引号，您都可以将它们分开，以便每个列都位于自己的列中。我不会担心有多余的空白列，但您可以将它们分开。从那里，您要做的就是创建数据透视表。所以我可以链接到有关如何轻松执行此操作的资源。
热门页面
但本质上，您可以在 Excel 中看到：好的，Googlebot 按频率访问的顶级页面有哪些？按请求次数计算，这些顶级页面有哪些？
顶级文件夹
您还可以查看热门文件夹请求，这真的很有趣，也很重要。除此之外，您还可 哥伦比亚手机号码数据 以查看：访问您网站的最常见的 Googlebot 类型是什么？是 Googlebot 移动版吗？是 Googlebot 图片版吗？它们访问的资源是否正确？这非常重要。您还可以制作一个包含状态代码的数据透视表并查看它。我喜欢将其中一些紫色的东西应用到热门页面和热门文件夹报告中。现在您可以了解：好的，其中一些热门页面是如何解决的？热门文件夹是什么样子的？
您也可以对 Googlebot IP 执行此操作。最佳黑客方法。我将仅使用 Googlebot IP 创建一个数据透视表，就在这里。所以我通常会得到，有时会得到很多，但我会得到所有唯一的 IP，然后我可以在您的计算机上进入终端，在大多数标准计算机上。
我试着画出来了。看起来是这样的。但你只需要输入“主机”，然后输入那个 IP 地址。你可以在终端上用这个 IP 地址来做这件事，你会看到它解析为 Google.com。这证实了它确实是 Googlebot，而不是其他一些欺骗 Google 的爬虫。所以这些工具往往会自动处理这个问题，但也有手动处理的方法，这一点值得注意。