该流水线的每个步骤都可以向上游发出背压信号。我们利用ReadableStream来实现这一点，当等待写入的总字节数超过阈值时，会返回429 错误码。每个 ReadableStream 都能够通过在 Durable 对象之间使用JSRPC调用来跨越 Durable 对象边界。为了提高性能，我们使用 RPC 存根来实现 Durable 对象之间的连接复用。每个步骤还可以重试操作，以处理 Durable 对象或 R2 中的任何临时不可用情况。
即使在更新现有管道时，我们也保证交付。当您更新现有管道时，我们会 比利时电报号码数据 创建一个新的部署，其中包含上述所有分片和持久对象。请求将优雅地重新路由到新管道。旧管道会继续将数据写入 R2，直到所有持久对象存储空间耗尽。只有在所有数据都写出后，我们才会关闭旧管道。这样，即使在更新管道时，您也不会丢失数据。
你会注意到这里有一个有趣的部分——Transform Workers——我们还没有公开。在我们努力将 Arroyo 的流引擎与 Pipelines 集成的过程中，这将成为我们将数据交给 Arroyo 处理的关键部分。
那么，它的成本是多少？
在公开测试版第一阶段，除了加载和访问数据时产生的标准 R2 存储和运营费用外，无需支付其他费用。与以往一样，直接从 R2 存储桶传出数据是免费的，因此您可以从任何云或区域处理和查询数据，无需担心数据传输费用的累积。
将来，我们计划根据输入管道和从管道传输的数据量来制定定价：
工人工资（5美元/月）
摄入
包含每月前 50 GB
每增加 1 GB 需支付 0.02美元
递送至 R2
包含每月前 50 GB
每增加 1 GB 需支付 0.02美元
随着测试版的进展，我们还计划在 Workers Free 计划中提供 Pipelines。
随着管道的转型和新增接收器的推出，我们将分享更多信息。在进行任何更改或开始收费之前，我们将至少提前 30 天通知，预计在 2025 年 9 月 15 日之前完成。
这里有很多东西需要构建，我们热衷于在 Arroyo 构建的许多强大组件的基础上进行构建：将 Workers 集成为 UDF（用户定义函数），添加新的来源（如 Kafka 客户端），并使用新的接收器扩展管道（超越 R2）。