Databricks在Data + AI峰会上宣布对旗舰开源项目的主要贡献bob下载地址

2022年6月28日
分享这篇文章
  • Delta Lake的所有增强功能都随着Delta Lake 2.0的发布而为Linux基金会做出了贡献
  • 带有ML pipeline的MLflow 2.0加快了机器学习项目的投产时间
  • Spark Connect允许Apache SparkTM在任何设备上运行
  • 光速计划透露下一代火花流

旧金山- 2022年6月28日-数据和人工智能公司,数据湖屋范式的先驱,今天宣布了几个流行的数据和人工智能开源项目的贡献,包括Delta Lake, MLflow和Apache Spark。bob下载地址

数据+人工智能峰会作为开源数据和人工智能社区的最大聚会,Databricks宣布bob下载地址,该公司将为Linux基金会贡献Delta Lake的所有功能和增强功能,并开源Delta Lake 2.0版本的所有api。此外,该公司还宣布了MLflow 2.0,其中包括MLflow pipeline,这是一项加速和简化ML模型部署的新功能。最后,该公司推出了Spark Connect,可以在几乎任何设备上使用Spark,以及Project Lightspeed,下一代Spark结构化流引擎,用于湖屋的数据流。

“从一开始,Databricks就致力于开放标准和开源社区。bob下载地址Databricks联合创始人兼首席执行官Ali Ghodsi表示:“我们创造、贡献、促进了现代开源技术的发展,并捐赠了一些最具影响力的创新。”bob下载地址“开放数据湖屋正迅速成为最具创新性的公司处理数据和人工智能的标准。Delta Lake、MLflow和Spark都是这一架构转型的核心,我们很自豪能在加速它们的创新和采用方面尽自己的一份力。”

Delta Lake 2.0为每个人带来湖屋

Delta Lake 2.0将为所有Delta Lake用户带来无与伦比的查询性能,并使每个人都能够基于开放标准构建高性能的数据湖屋。有了这个贡献,Databricks的客户和开源社区将受益于Delta Lake 2.0的完整功能和增强的性bob下载地址能。Delta Lake 2.0发布候选版现已可用,预计将在今年晚些时候全面发布。Delta Lake生态系统的广度使其在广泛的用例中灵活而强大。这是一个充满活力的社区,有超过6400名成员,其中有来自70多个贡献组织的开发人员。

Databricks为Akamai提供了一种开放的表存储格式,这种格式经过了实战考验,适用于像我们这样的高要求工作负载。Akamai工程副总裁Aryeh Sivan表示:“湖屋支持大规模的交互式分析,这样我们的客户就可以在Edge平台上对安全事件进行近乎实时的分析。”bob体育客户端下载“我们对Databricks以及快速增长的社区为Delta Lake带来的快速创新感到非常兴奋。我们也期待着在这个项目上与其他开发人员合作,将数据社区推向更高的高度。”

“Delta Lake项目的活跃度和增长趋势表明,开发商社区希望成为项目的一部分。贡献者的强度在去年增加了60%,提交总数增长了95%,每次提交的平均代码行数增长了900%。我们从优步科技、沃尔玛和CloudBees等贡献机构看到了这种上升速度,”Linux基金会执行董事吉姆·泽姆林说。

MLflow 2.0引入MLflow管道来模板化和自动化mlop

作为最成功的开源机器学习(ML)项目之一,MLflow为MLbob下载地址平台设定了标准。bob体育客户端下载MLflow 2.0发布介绍MLflow管道对于平台,通过bob体育客户端下载标准化大幅缩短生产时间,并提高大规模执行。MLflow pipeline根据数据科学家正在构建的模型类型为他们提供预定义的、可用于生产的模板,使他们能够可靠地引导和加速模型开发,而不需要生产工程师的干预。

下一代流媒体引擎和火花随时随地

作为大规模数据分析的领先统一引擎,Spark可以无缝扩展以处理各种规模的数据集。然而,缺乏远程连接和在驱动节点上开发和运行的应用程序的负担,阻碍了现代数据应用程序的需求。为了解决这个问题,Databricks介绍了火花连接这是一个基于DataFrame API的Apache Spark客户端和服务器接口,它将解耦客户端和服务器以获得更好的稳定性,并允许内置远程连接。通过Spark Connect,用户可以在任何设备上访问Spark。

在与Spark社区的合作中,Databricks还宣布项目光速这是下一代Spark流媒体引擎。随着迁移到流数据的应用程序的多样性增加,出现了新的需求,以支持lakehouse数据流的最需要的数据工作负载。Spark结构化流媒体自从流媒体的早期就被广泛采用,因为它易于使用、性能好、大型生态系统和开发人员社区。考虑到这一点,Databricks将与社区合作,并鼓励参与Project Lightspeed,以提高性能,对连接器的生态系统支持,使用新的操作符和api增强数据处理功能,并简化部署、操作、监控和故障排除。

要了解BOB低频彩更多关于Databricks对开源社区的承诺,请访问:bob下载地址//www.neidfyre.com/product/open-source

对砖
Databricks是一家数据和人工智能公司。全球超过7000家组织,包括康卡斯特、Condé Nast、H&M和超过40%的财富500强,都依赖Databricks Lakehouse平台来统一他们的数据、分析和人工智能。bob体育客户端下载Databricks总部位于旧金山,在全球各地设有办事处。Databricks由Delta Lake、Apache Spark™和MLflow的最初创建者创建,其使命是帮助数据团队解决世界上最棘手的问题。想要了BOB低频彩解更多,请在Twitter、LinkedIn和Facebook上关注Databricks。

安全港声明

提供此信息是为了概述Databricks的一般产品方向,仅供参考。购买Databricks服务的客户应仅根据当前可用的服务、特性和功能来做出购买决定。前瞻性声明中描述的未发布的特性或功能可能会根据Databricks的判断进行更改,并且可能无法按计划交付或根本无法交付。

联系人:(电子邮件保护)

最近新闻公报

Databricks扩大在印度的业务,任命Anil Bhasin为国家经理
读到现在
Databricks为其Lakehouse平台实现扩展FedRAMP®授权bob体育客户端下载
读到现在
Databricks任命Samuel Bonamigo为EMEA高级副总裁兼总经理
读到现在
Databricks为其行业领先的数据湖屋平台推出了新的创新bob体育客户端下载
读到现在
Databricks在Data + AI峰会上宣布对旗舰开源项目的主要贡献bob下载地址
读到现在
查看所有

资源

联系

新闻界查询:

(电子邮件保护)

保持联系

通过我们的时事通讯、社交媒体渠道和博客RSS订阅与我们保持联系。
订阅时事通讯

得到的资产

如果您想使用Databricks的资料,请与我们联系 (电子邮件保护) 并提供以下资料:

你的姓名和头衔
公司名称及所在地
请求说明
查看品牌指南