Delta Live Tables (DLT)使构建和管理可靠的批处理和流数据管道变得很容易,这些数据管道可以在平台上交付高质量的数据Databricks Lakehouse平bob体育客户端下载台.DLT帮助数据工程团队简化ETL具有声明式管道开发、自动数据测试以及用于监视和恢复的深度可见性的开发和管理。
轻松构建和维护数据管道
使用Delta Live Tables,可以轻松地在SQL或Python中定义端到端数据管道。只需指定数据源、转换逻辑和数据的目标状态——而不是手动将孤立的数据处理作业拼接在一起。自动维护跨管道的所有数据依赖关系,并使用与环境无关的数据管理重用ETL管道。批量运行或流媒体模式,并为每个表指定增量计算或完整计算。
自动数据质量测试
Delta Live Tables助手à garantir une BI, une数据科学等机器学习précis et utiles avec des données de haute qualité pour les utilisateurs en aval。Empechez莱斯德助攻数据质量de penetrer在表par le biais de还de验证et d 'integrite et evitez de质量是恩典des程序的数据的误差误差predefinies (echec、抑制alerte ou协定en quarantaine des数据)。那部分,你的力量生存的倾向在matière de qualité des données au in the temps afin获取的洞察力在évolution de vos données, et avoir si des changements sont nécessaires。
通过高效的计算自动缩放成本效益流
Delta Live Tables Enhanced Autoscaling被设计用来处理尖尖的和不可预测的流工作负载。它通过在维护端到端sla的同时只扩展到必要的节点数量来优化集群利用率,并在利用率较低时优雅地关闭节点以避免不必要的开销。
管道监控和可观察性的深度可见性
Obtenez une visibilité en profondeur des opérations liées辅助管道grâce à des渗透性可视化统计方法opérationnelles et le lignage des données。Réduisez les périodes d'arrêt grâce à la gestion自动错误et à un replay facile。Accélérez la维护grâce au déploiement et aux mises à niveau en unclic。
ca d 'utilisation
统一批处理和流式ETL
生成和运行批处理和流媒体管道在一个地方,具有可控和自动刷新设置,节省时间,降低操作复杂性。对于湖屋上的数据流,使用Delta Live Tables流媒体ETL是最好的开始。
简化程序le déploiement et les测试des管道de données
Grâce à l'isolation et à la mise à jour de différentes copies de données par le biais d'une base de code unique, il est possible de capture et d'utiliser les information亲戚au lignage des données afin de les maintenir à jour en tout lieu。Ainsi, le même ensemble de définitions de requêtes peut être exécuté au cours des phases de développement, de pré-production et de production。
Répondre紧急情况règlementaires
Capturez automatiquement toutes les信息亲戚à选民表à des鳍d'分析et d'审计,grâce au期刊des évènements。集体意见données选举组织和紧急情况répondez conformité。
«Chez Shell, nous regroupons toutes les données de nos capteurs dans un magasin de données intégré。Delta Live Tables a aidé nos équipes à gagner du temps et à gérer les données à [l'échelle de plusieurs milliers de milliards d' enregistrations], tout en améliorant continuellement nos capacités d'ingénierie de l' ia。Grâce à cette capacité, qui vient s'ajouter à l'architecture lakehouse existante, Databricks bouleverse les marchés de l'ETL et des entrepôts de données, ce qui majeur pour des企业comme la nôtre。持续的知识à创新的知识和知识。
- Dan Jeavons,总监général -壳牌数据科学
Prêt à vous
枪骑兵?