物化视图

管道/物化视图数据砖δ

介绍

三角洲管道提供了一组api和UI管理生命周期的数据管道。这个开源框架有助于工程团队简化ETL开发数据,提高数据可靠性和业务规模。而不是编码转换为您的数据和调度工作,您可以轻松地为您的数据定义你想要的最终状态通过构建声明性管道。可以链等各种任务之间的依赖关系,更新一个表会自动触发所有下游后处理。三角洲湖,你将湖泊的可靠数据;与达美管道,你将有可靠的数据管道数据工作流。

三角洲管道数据集

三角洲的主要抽象管道是所谓的数据集。数据集是一个底层表的查询或视图可以表示使用api。下面是一个示例使用Scala API:

数据集(“事件”).query {输入(“base_table”).select (…)。过滤器(…)}

创建物化视图的数据集

三角洲管道还提供能够创建物化视图的数据通过链接.materialize()操作符的数据集设置像这样:

数据集(“事件”).query {输入(“base_table”).select (…)。过滤器(…)}.materialize ()

这意味着“事件”物化视图将不断更新数据流经δ管道。随着新数据到达时,致力于通过ACID事务基本表,物化视图增量地不断更新每个事务。用户不需要担心何时或如何频繁地刷新物化视图,甚至当运行优化或真空命令——这都是在后台自动完成的。

看下面的视频三角洲管道的更多细节