三角洲住表宣布新功能和性能优化

DLT宣布正在开发酶,ETL工作负载的性能优化专用,并启动一些新的功能,包括增强的自动定量

通过Lappas保罗和迈克尔时常要

2022年6月29日在产品

分享这篇文章

因为δ生活表的可用性(DLT)在所有云(4月公告),我们引入新特性使开发变得更容易,增强自动化基础设施管理,宣布了一项新的优化层称为项目酶加速ETL处理,并使一些企业功能和用户体验的改进。

DLT使分析师和数据工程师快速创建生产就绪的流或批ETL管道在SQL和Python。DLT简化了ETL开发通过允许您以声明的方式定义数据处理管道。DLT理解管道的依赖和自动化几乎所有操作的复杂性。

三角洲生活表已发展到电力生产ETL用例在世界各地的大公司自成立以来。DLT使用超过1000公司从创业企业,包括ADP、壳牌、H&R Block特大,面包金融和仲量联行。

与DLT,工程师可以专注于交付数据而不是操作和维护管道和利用关键特性。我们启用了企业功能和用户体验的改进,包括支持变化数据捕获(CDC)高效、轻松地捕捉连续到达的数据,并推出了一个预览增强自动伸缩功能为流媒体提供性能优越的工作负载。让我们来看看详细的改进:

让开发变得更容易

我们扩展我们的UI,让它更容易管理ETL的端到端的生命周期。

用户体验改进。我们扩展UI DLT管道更容易管理,查看错误,提供团队成员具有丰富的管道acl。我们还添加了一个可观测性的UI数据质量标准在一个视图中,并使它更容易安排管道直接从UI。BOB低频彩。

安排管道按钮。DLT允许您运行ETL管道连续或触发模式。连续管道过程新数据到达,是有用的场景数据延迟是至关重要的。然而,许多客户选择运行DLT管道在触发模式下控制管道执行和成本更密切。使它容易引发DLT管道与砖重复安排工作,我们已经添加了一个“时间表”按钮的DLT UI来支持用户设置一个只需几次点击重复调度不离开DLT UI。您还可以看到历史的运行和快速导航到你的工作细节配置邮件通知。BOB低频彩。

变化数据捕获(CDC)。DLT,疾控中心数据工程师可以很容易地实现一个新的声明申请更改到API,在SQL或Python。这个新功能允许ETL管道容易检测源数据更改,并将它们应用到整个lakehouse数据集。DLT过程数据变化逐步进入三角洲湖,萎靡不振的记录插入、更新或删除在处理疾病预防控制中心事件。BOB低频彩。

疾控中心慢慢改变Dimensions-Type 2。当处理更改(CDC)的数据,你经常需要更新记录跟踪最新的数据。SCD 2型是一种将更新应用到一个目标,这样保留了原始数据。例如,如果一个用户数据库中的实体移动到一个不同的地址,我们可以存储用户的所有以前的地址。DLT支持SCD 2型的组织,需要维护一个审计跟踪的变化。SCD2保留一个完整的历史价值。当一个属性的值发生变化时,关闭当前记录,创建一个新记录数据值的改变,这新纪录成为当前记录。BOB低频彩。

自动化基础设施管理

增强自动定量(预览)。手动分级集群对最优性能改变,不可预测的数据与流卷作为工作负载——可能是一个挑战,导致获得。当前集群自动定量不知道流SLOs,可能不会迅速扩大经营规模,即使处理落后数据到达率,或者它可能不会减少负载时低。DLT雇佣了一个增强的伸缩算法专用流。dlt增强自动定量优化集群利用率同时确保整体的端到端延迟最小化。它通过检测流工作负载的波动,包括数据等待摄取,配置所需的资源(用户指定的限制)。此外,增强自动定量时将优雅地关闭集群利用率很低,同时保证所有任务的疏散,以避免影响管道。因此,工作负载使用增强的自动定量节省使用成本,因为更少的基础设施资源。BOB低频彩。

自动升级和发布渠道。三角洲生活表(DLT)集群使用一个DLT运行时根据砖运行时(DBR)。砖自动升级的DLT运行时每1 - 2个月。DLT将自动升级DLT运行时无需用户干预和监测管道健康后升级。如果DLT检测到DLT管道不能启动由于DLT运行时升级,我们将恢复管道条件,而不是以前的版本。你可以得到早期警告打破更改init脚本或其他DBR行为利用DLT通道测试的预览版本DLT运行时和自动通知如果有回归。生产工作负载的砖建议使用当前的渠道。BOB低频彩。