宣布通用的可用性数据砖的三角洲生活表(DLT)

今天,我们很高兴宣布三角洲生活表(DLT)一般可用(GA)在Amazon AWS和微软Azure云,并公开在谷歌云!在这篇文章中,我们探讨DLT帮助数据工程师和分析师领先企业轻松构建生产就绪流或批处理管道、自动管理大规模基础设施,并提供新一代的数据,分析,和人工智能的应用。

客户赢得简单流和批ETL Lakehouse

ETL处理流和批处理工作负载是一个基本项目分析,数据科学和ML工作负载——这一趋势是继续加快组织生成的大量数据。但处理这个原料,非结构化数据到干净,记录,和值得信赖的信息,这是一个十分重要的步骤之前,可以用来驱动业务的见解。我们从我们的客户,将SQL查询转化为生产ETL管道通常涉及很多繁琐,复杂的操作工作。即使在一个小规模的,大部分的数据工程师的时间花在工具和管理基础设施而不是转换。我们也从我们的客户,可观测性和治理是非常难以实现,因此,经常的完全解决方案。这导致花大量的时间在未分化的任务和导致的数据是不可靠的,不可靠的和昂贵的。

这就是为什么我们建立三角洲LiveTables,第一个ETL框架,使用一个简单的声明性方法构建可靠的数据管道和自动管理基础设施大规模数据分析师和工程师可以花更少的时间在工具和专注于从数据获得价值。DLT允许数据工程师和分析师大大减少实现时间的加速发展和自动化复杂的操作任务。

三角洲生活表已经给生产用例全球领先企业。从创业企业,400多家公司包括ADP、壳牌、H&R Block特大,面包金融、仲量联行、更用DLT力量自助分析和数据的下一代应用程序:

• ADP:“在ADP,我们是我们的人力资源管理数据迁移到一个集成的数据存储在Lakehouse。三角洲生活表已经帮助我们的团队构建质量控制,因为声明式api,支持批处理和实时只使用SQL,这使得我们的团队能够节省时间和精力管理我们的数据。”——杰克,ADP首席数据官
• Audantic:“我们的目标是继续利用机器学习开发创新产品,扩大我们进入新的市场和地理位置。砖是一种基本的这一战略的一部分,将帮助我们更快和更有效地到达那里。δ住表是使我们能够做一些事情在规模和性能方面,我们之前没能做,上市时间减少86%。我们现在每天运行管道相比,每周甚至每月——这是一个数量级的提高。首席信息官”——乔尔阴暗的Audantic
• 外壳:“在壳牌公司,我们将我们所有的传感器数据合并为一个综合数据存储。三角洲生活表已经帮助我们的团队节省时间和精力在管理数据(multi-trillion-record规模),不断改善我们的人工智能工程的能力。使用此功能扩充现有lakehouse建筑,砖是ETL和数据仓库市场扰乱,这对像我们这样的公司是很重要的。我们兴奋地继续与砖作为一个创新的合作伙伴。总经理”——丹Jeavons数据科学壳
• 面包融资:“三角洲生活表使协作和删除数据工程资源阻滞剂,让我们分析和BI团队自助而无需知道火花或Scala。事实上,我们的一个数据分析师——没有砖或火花的经验,能够建立一个DLT管道将文件流在S3变成可用的探索性数据集在几小时内使用SQL。”- Christina Taylor, Senior Data Engineer at Bread Finance

现代软件工程进行ETL处理

DLT允许分析师和数据工程师轻松构建生产就绪流或批ETL管道在SQL和Python。它简化了ETL开发独特的捕捉一个声明性描述的完整的数据管道来了解生活的依赖性和自动化了几乎所有的内在运作的复杂性。与DLT,工程师可以专注于交付数据而不是操作和维护管道,并利用关键的好处:

• 加速ETL开发:与解决方案,需要您手工手缝线迹的代码片段构建端到端的管道,DLT可以通过声明表示整个数据流在SQL和Python。此外,本机DLT使现代软件工程最佳实践的能力开发环境(s)分开生产,容易在部署之前测试它的能力,使用参数化部署和管理环境,单元测试和文档。结果,可以简化开发、测试、部署、操作和监控的ETL管道以一流的结构表达转换、CI / CD, sla和质量的期望,并无缝地处理批处理和流在一个API。
• 自动管理基础设施:DLT重新建造,能自动管理基础设施和自动化复杂而耗时的活动。分级集群对最优性能改变,不可预测的数据量可能是一个挑战,导致获得。DLT自动尺度计算满足性能sla通过向用户提供选项来设置最小和最大数量的实例,让DLT规模集群根据集群利用率。此外,任务编排、错误处理和恢复,和性能优化都是自动处理的。DLT,你可以专注于数据转换而不是操作。
• 数据的信心:提供可靠的数据和内置的质量控制、测试、监控和执行,以确保准确和有用的BI,数据科学、和毫升。DLT很容易创建包括一流的支持可信数据源的数据质量管理和监控工具使用一个功能叫做预期。期望有助于防止错误数据流入表,跟踪数据质量随着时间的推移,并提供工具来排除错误数据和细粒度的管道可观测性得到高保真谱系图你的管道,跟踪依赖关系,总在你所有的管道数据质量标准。
• 简化批处理和流媒体:为应用程序提供最新鲜/最新的数据与数据自优化和自动伸缩数据管道进行批量或流媒体处理和选择最佳的性价比。不像其他产品,迫使你单独处理流和批处理工作负载,DLT支持任何类型的数据负载与单个API数据工程师和分析师都可以构建云级别的数据管道更快,无需拥有先进的工程技术数据。

DLT预览发布以来,我们启用了企业功能和用户体验改进。我们扩展我们的UI,让它更容易安排DLT管道、观点错误,管理acl,改进表血统的视觉效果,增加了数据质量可观测性UI和度量。此外,我们已经发布了支持变化数据捕获(CDC)高效、轻松地捕捉连续到达的数据,以及推出的预览增强自动伸缩功能为流媒体提供性能优越的工作负载。

开始使用三角洲Lakehouse住表

看下面的演示发现易用性的DLT数据工程师和分析师们:

玩这个视频,请点击这里,接受饼干

如果你已经是一个砖客户,简单地遵循导游开始。阅读发布说明了解更多关于什么是包含在该通用版本。BOB低频彩如果你没有一个现有的砖的客户,注册一个免费试用你可以查看我们的这里详细的DLT定价。

接下来是什么

报名参加我们的三角洲生活表与迈克尔·时常要和仲量联行网络研讨会4月14日埋入和更多的了解BOB低频彩三角洲生活表Databricks.com。