特征，并且在某些用例中它们可以互换。主要常用功能如下表所示。
Iceberg、Delta Lake 和 Hudi 的共同关键特征ACID 事务确保您的数据始终一致，即使发生故障也是如此。这对于用于关键业务应用程序的数据湖非常重要。
架构演化使得更改数据湖表的架构成为可能，而无需重新创建表。这对于用于存储历史数据的数据湖非常重要。
时间旅行使得检索数据湖表的历史版本成为可能。这对于用于审计和合规性目的的数据湖非常重要。
增量摄取可以将新数据加载到数据湖表中，而无需重新处理整个数据集。这对于用于摄取大量流数据的数据湖非常重要。
对多个存储系统的支持使数据湖表可以存储在各种存储系统中 - 例如 Amazon S3、Azure Blob Storage 和 Google Cloud Storage。这样可以灵活地选择最适合您需求的存储系统。
社区支持意味着许多人使用该项目并为其做出贡献。这使您更有可能在需要时找到帮助。
正如我们在上面的结果中看到的，Delta Lake 总体表 旅行社电子邮件列表 现优于 Iceberg 和 Hudi。然而，在比较性能时，我们应该记住，Delta 和 Iceberg 针对仅追加工作负载进行了优化，而 Hudi 默认情况下针对可变工作负载进行了优化。默认情况下，Hudi 使用 Upsert 写入模式，当然与 Inserts 相比，这种模式有写入开销。没有这些背景信息，就像比较苹果和橘子一样。
集成到不同平台
了解协调数据类型的影响可以释放基于云的分析的真正潜力，简化数据工作流程并推动团队之间更好的协作。
比较：这些系统支持Hudi、Delta Lake和Iceberg
如您所见，并非每个平台都支持所有数据类型。例如，流行的基于云的分析平台 Google BigQuery 没有与 Delta Lake 直接集成。同样，Amazon Redshift 和 Azure Synapse Analytics 不提供对 Iceberg 的内置支持。此外，以其基于云的数据仓库功能而闻名的 Snowflake 并不提供对 Apache Hudi 的本机支持。
结论：用什么
要构建数据湖，您应该考虑 Delta Lake 和 Hudi，因为它们与 S3 或 Azure 存储等数据湖基础设施兼容。对于数据仓库来说，Iceberg 是首选，具有高效的查询性能。对于实时数据访问和分析，Hudi 是理想的选择。如果您需要批处理，Delta Lake 和 Iceberg 提供强大的数据管道支持。所有三种格式——Delta Lake、Hudi 和 Iceberg——都提供 ACID 事务和数据版本控制。然而，Delta Lake 因其在这些领域的卓越支持而脱颖而出。当涉及随时间变化的数据结构时，Iceberg 是最佳选择，因为它对模式演变和版本控制提供强大的支持。
Delta Lake、Hudi 和 Iceberg 与广泛使用的数据处理工具（例如 Apache Spark、Python 或 Hadoop）实现了牢固的集成。然而，重要的是要仔细考虑项目的技术堆栈和未来计划，因为一些主要提供商可能不支持某些格式。
您想了解更多关于 adesso 世界中令人兴奋的话题吗？那么请看一下我们之前发布的博客文章。