Delta活动表

可靠的数据工程变得容易

报名观看演示

Delta Live Tables (DLT)使构建和管理可靠的批处理和流数据管道变得很容易,这些数据管道可以在平台上交付高质量的数据Databricks Lakehouse平bob体育客户端下载台.DLT帮助数据工程团队简化ETL具有声明式管道开发、自动数据测试以及用于监视和恢复的深度可见性的开发和管理。

背景图像

轻松构建和维护数据管道

使用Delta Live Tables,可以轻松地在SQL或Python中定义端到端数据管道。只需指定数据源、转换逻辑和数据的目标状态——而不是手动将孤立的数据处理作业拼接在一起。自动维护跨管道的所有数据依赖关系,并使用与环境无关的数据管理重用ETL管道。批量运行或流媒体模式,并为每个表指定增量计算或完整计算。

自动数据质量测试

Delta Live Tables帮助确保为下游用户提供准确和有用的BI、数据科学和机器学习的高质量数据。通过验证和完整性检查防止坏数据流入表,并使用预定义的错误策略(失败、删除、警报或隔离数据)避免数据质量错误。此外,您还可以监视数据质量随时间的变化趋势,以了解数据的变化情况以及可能需要更改的地方。

通过高效的计算自动缩放成本效益流

Delta Live Tables Enhanced Autoscaling被设计用来处理尖尖的和不可预测的流工作负载。它通过在维护端到端sla的同时只扩展到必要的节点数量来优化集群利用率,并在利用率较低时优雅地关闭节点以避免不必要的开销。

管道监控和可观察性的深度可见性

通过可视化跟踪操作统计和数据沿袭的工具,深入了解管道操作。通过自动错误处理和轻松回放减少停机时间。通过单击部署和升级加快维护。

用例

统一批处理和流式ETL

生成和运行批处理和流媒体管道在一个地方,具有可控和自动刷新设置,节省时间,降低操作复杂性。对于湖屋上的数据流,使用Delta Live Tables流媒体ETL是最好的开始。

简化数据管道的部署和测试

通过一个代码库隔离和更新数据的不同副本,可以捕获数据沿袭信息,并用于在任何地方保持数据新鲜。因此,同一组查询定义可以在开发、登台和生产中运行。

符合监管要求

使用事件日志捕获关于表的所有信息,以便自动进行分析和审计。了解数据如何在组织中流动,并满足法规遵从性要求。

Healthdirect
Atlassian客户的故事

客户的故事

用数据和人工智能把病人的健康放在第一位
哥伦比亚
Atlassian客户的故事

客户的故事

移动到云端迎来了
数据驱动零售的新时代

“在壳牌,我们将所有传感器数据聚合到一个集成数据存储中。Delta Live Tables帮助我们的团队节省了管理(数万亿记录规模)数据的时间和精力,并不断提高我们的人工智能工程能力。这种能力增强了现有的湖屋架构,Databricks正在颠覆ETL和数据仓库市场,这对像我们这样的公司很重要。我们很高兴能继续与Databricks作为创新合作伙伴合作。”

——Dan Jeavons,壳牌公司数据科学总经理

资源

所有你需要的资源。都在一个地方。图像

所有你需要的资源。都在一个地方。

使用Delta Live Tables on Databricks探索有关数据工程好处的资源。

白皮书

在线研讨会