本次会议是丹尼·李(Denny Lee)和三角洲湖团队“三角洲湖入门”系列的一部分。
Lambda架构是一种流行的技术,其中记录由批处理系统和流系统并行处理。然后在查询期间将结果进行组合,以提供完整的答案。对处理旧的和最近生成的事件的严格延迟要求使得这种体系结构流行起来。这种体系结构的主要缺点是管理两个不同系统的开发和操作开销。过去曾有人尝试将批处理和流处理统一到单个系统中。但在这些尝试中,组织并没有那么成功。但是,随着Delta Lake的出现,我们看到许多客户采用简单的连续数据流模型来处理到达的数据。我们称这种架构为Delta架构。在本节课中,我们将讨论采用连续数据流模型的主要瓶颈,以及Delta体系结构如何解决这些问题。
你需要:
注册社区版在这里并获得研讨会演示材料和样本笔记本。