三角洲生活表(DLT)使它易于构建和管理批处理和可靠流数据管道,提供高质量的数据砖Lakehouse平台bob体育客户端下载。DLT帮助数据工程团队简化ETL与声明性管道发展开发和管理,自动数据测试和深可见性监测和恢复。
轻松地构建和维护的数据管道
与达美住表,很容易定义的端到端数据管道在SQL或Python。简单地指定数据源,转换逻辑,和目标状态的数据,而不是手工缝合在一起孤立的数据处理工作。自动维护所有数据依赖关系在管道和重用ETL管道与独立于环境数据管理。在批处理或运行流媒体模式,为每个表指定增量或完成计算。
自动数据质量检测
三角洲生活表有助于确保准确和有用的BI,数据科学和机器学习为下游用户高质量的数据。防止错误数据通过验证和完整性检查,避免流入表数据质量的错误与预定义的错误政策(失败,下降,警报或检疫数据)。此外,您可以监视数据质量趋势随着时间的推移得到洞察你的数据是如何发展的,变化可能是必要的。
具有成本效益的流媒体通过高效的自动定量计算
三角洲生活表增强自动定量旨在处理流媒体工作负载的和不可预测的。优化集群利用率只有扩大到必要的节点数量,同时保持端到端sla,和优雅的关闭节点利用率低的时候避免不必要的花费。
深可见性管道监控和可观察性
获得深可见性管道操作工具来可视化跟踪操作数据和数据沿袭。减少停机自动错误处理和简单的重播。加快与单击部署和升级维护。
壳牌信托三角洲生活表
“在壳牌公司,我们将我们所有的传感器数据合并为一个综合数据存储。三角洲生活表已经帮助我们的团队在管理数据,节省时间和精力multi-trillion-record规模工程能力,不断改善我们的人工智能。使用此功能扩充现有lakehouse建筑,砖是ETL和数据仓库市场扰乱,这对像我们这样的公司是很重要的。我们兴奋地继续与砖作为一个创新的伙伴。”
——总经理丹Jeavons——数据科学、壳
用例
统一批处理和流ETL
两批处理和构建和运行流媒体管道在一个地方控制和自动刷新设置,节约时间,减少操作的复杂性。lakehouse上的数据流,流ETL与达美住表是最好的起点。
简化数据管道部署和测试
与不同的副本数据隔离和通过一个代码库更新,数据沿袭信息可以捕获和用来保持新鲜的任何数据。所以相同的查询集的定义可以运行在开发、分期和生产。
满足监管要求
获取所有信息表的自动分析和审计事件日志。了解数据流经你的组织和满足合规要求。
