在 AWS 中最多运行两个索引

[rakibhasanbd4723]

一个由 80 台 cc2.8xlarge 机器组成的集群 - 这些机器非常庞大而且价格更昂贵，但应该在更短的时间内完成索引，从而使它们在一个月内更便宜。
如果有必要，在 200 台较小的 c1.xlarge 机器上运行备份索引（当前设置）。
继续维持 600 到 700 亿个 URL 的索引大小，以保证合理的处理时间。
该计划让工程师有时间解决更大的问题：开发测试环境并改进 Mozscape 代码库。但最重要的是，我们可以更高效地将 PLD 分布到各个处理分片中，从而显著节省处理时间。

向前迈出两步
幸运的是，兰德批准了该计划，而为后退 多米尼加共和国电话号码列表 一步所花费的时间和精力确实得到了回报。更新、更好、更大的设备完成了这项工作，没有服务器故障，也没有运营问题。10月份的指数发布就是这一变化的结果。它以创纪录的时间完成，仅花费 10 万美元，而上个月花费了 80 万美元。


80 台服务器，零运行时间，已完成索引
*服务器照片由Kim Scarborough拍摄，通过知识共享许可使用。

我们从这次经历中学到了很多东西，但这是我们最重要的收获：当你觉得自己没有时间退后一步重新评估的时候，正是你应该退后一步重新评估的时候。这不一定总能帮你省下 70 万美元，但有可能。花时间获得新的视角可以带来解决方案，如果你一直埋头苦干，你永远不会看到这些解决方案！