我们可以用两种方法来解决这个问题： 流程 工具 只要有可能，第二个应该优先。 预防流程 1 — 同行签字 在流程方面，我们制定了一条硬性规定，即任何人，无论经验多么丰富，都不应在未获得至少一名其他高级基础设施工程师的批准的情况下针对实时数据运行自定义写入查询。
即使查询已针对暂存环境进行了测试。 预防流程 2 — 数据库快照 在运行任何针对多个文档的写入查询之前，我们还将开始触发数据库快照。我们的数据库备份系统可以快速高效地拍摄快照，我们将更好地利用这一点。
预防工具——审计和强制审查 在工具方面，我们现在将数据库接口 俄罗斯电报号码数据库 包装在一个自定义层中，该层会扫描某些类型的命令，并在执行之前通过 Slack 频道运行它们。
每当开发人员启动控制台会话时，此工具还会在 Slack 中发出通知，并在 Slack 中留下所有命令的审计跟踪。 改善恢复 大多数部署元数据可以从数据库中的其他对象重建，也可以从部署中的文件推断出来，等等。
但是，部署元数据对象包含指向我们大型分布式文件系统中“树对象”的“指针”。没有这个指针，我们就无法知道部署中有哪些文件（因此受影响的页面会出现 404 错误）。
改进恢复 1：记录更多部署元数据 今后，我们将在部署对象上设置此指针时记录该指针。这样一来，我们就可以根据日志重建所有最近的部署（如果需要）。
这次事件中一个积极的方面是，我们的数据库备份系统运行良好，我们在恢复最新备份时没有遇到任何问题。 改善恢复措施 2：更好的内部记录 然而，我们花了比预期更长的时间才意识到，我们能够直接从 S3 备份中将任何数据库快照安装为只读数据库，并直接从我们的应用程序服务器连接到该数据库。