ETL框架是第一个自动管理基础设施并将现代软件工程实践引入数据工程的框架，允许数据工程师和分析师专注于转换数据，而不是管理管道
旧金山- 2022年4月5日Databricks是一家数据和人工智能公司，也是数据湖屋范式的先驱，今天宣布了Delta Live Tables (DLT)的全面可用性，这是第一个使用简单声明性方法来构建可靠数据管道并自动管理大规模数据基础设施的ETL框架。将SQL查询转换为生产ETL管道通常需要大量繁琐而复杂的操作工作。通过使用现代软件工程实践来自动化数据工程中最耗时的部分，数据工程师和分析师可以专注于交付数据，而不是操作和维护管道。
随着公司制定策略，以从数据中获得最大价值，许多公司将聘请昂贵的、高技能的数据工程师(这是一种已经很难获得的资源)，以避免项目延误和失败。人们通常不太理解的是，许多延迟或失败的项目都是由一个核心问题驱动的:在没有大量严格的操作来保持它们正常运行的情况下，很难构建自动工作的可靠数据管道。因此，即使在小范围内，数据从业者的大部分时间都花在工具和管理基础设施上，以确保这些数据管道不会中断。
Delta Live Tables是第一个也是唯一一个通过结合现代工程实践和基础设施自动管理来解决这个问题的ETL框架，而过去市场上的努力只解决了一个方面。它允许工程师简单地描述数据转换的结果，从而简化了ETL开发。Delta Live Tables理解整个数据管道的依赖关系，并自动消除几乎所有手工操作的复杂性。它还使数据工程师能够将数据视为代码，并应用现代软件工程最佳实践，如测试、错误处理、监控和文档，从而更容易地大规模部署可靠的管道。Delta Live Tables完全支持Python和SQL，为流和批处理工作负载量身定制。
Delta Live Tables已经为全球领先公司的生产用例提供了支持，如JLL、Shell、Jumbo、Bread Finance和ADP。“在ADP，我们正在将人力资源管理数据迁移到湖屋的集成数据存储中。Delta Live Tables帮助我们的团队建立了质量控制，并且由于声明性api，只使用SQL支持批处理和实时，它使我们的团队在管理数据时节省了时间和精力，”ADP首席数据官Jack Berkowitz说。
“DLT的力量来自于其他人无法做到的事情——结合现代软件工程实践和自动管理基础设施。这是一项改变游戏规则的技术，它将使数据工程师和分析师比以往任何时候都更有效率，”Databricks首席执行官兼联合创始人Ali Ghodsi说。“它还扩大了Databricks的覆盖面;DLT通过一个API支持任何类型的数据工作负载，无需高级数据工程技能。”
BOB低频彩了解更多有关砖的博客．
对砖
Databricks是一家数据和人工智能公司。全球超过7000家组织，包括康卡斯特、Condé Nast、H&M和超过40%的财富500强，都依赖Databricks Lakehouse平台来统一他们的数据、分析和人工智能。bob体育客户端下载Databricks总部位于旧金山，在全球各地设有办事处。Databricks由Apache Spark™、Delta Lake和MLflow的最初创建者创建，其使命是帮助数据团队解决世界上最棘手的问题。要了解BOB低频彩更多，请关注Databricks推特，LinkedIn和脸谱网．
媒体接触：
(电子邮件保护)