公司博客上

Azure Databricks强调在Microsoft Ignite 2019上采用Delta Lake、MLflow以及与Azure机器学习的集成

2019年11月20日 公司博客上

分享这篇文章

Microsoft Ignite 2019在美国,数千名与会者参加了实践研讨会、分组讨论和剧场演示,以了解客户如何通过产品取得显著的效果Azure砖!这是充满活力的一周,建立了新的联系,学习了数据科学、数据工程和商业分析方面的新创新。

Azure Databricks——在不到2年的时间里实现了惊人的增长,包括数以千计的全球Azure Databricks客户,每天都有数百万个服务器小时在运转,每个月处理2eb的数据,并在全球范围内覆盖29个区域。

我们分享了一个消息,在Azure Databricks上处理的75%以上的数据都在Delta Lake数据湖的bob下载地址新开源标准.实践实验室和分组会议让与会者有机会在Azure Databricks上亲眼看到和体验Delta Lake。

Delta Lake——开源存储层,将ACID事务引入Apache SparkTM和大数据工作负载,包括75%的数据在Azure Databricks中处理。
Delta Lake的开放性和可扩展性使得更快的创新和更有效的使用数据成为可能。Azure Databricks在过去两年中有了惊人的增长。这种快速增长产生了对新工具和功能的需求,例如MLflow模型注册表以及机器学习生命周期管理,帮助客户跟踪、部署和更新他们的机器学习模型。与会者得知Azure Databricks与Azure Synapse Analytics合作的三种方式将分析、商业智能(BI)和数据科学整合到一个解决方案架构中。

Azure Databricks的势头和加速在Ignite 2019周的许多会议中得到了突出体现。下面只是几个会议,让您了解推动这种惊人增长的客户用例的广度。

Azure Databricks会议在Ignite 2019

  • Azure Databricks上的Delta Lake:为数据湖实现一个新的开源标准(THR2339bob下载地址)——来自Databricks的Ajay Singh分享了如何通过使用最新的开源创新为事务、版本控制和索引添加新功能来增强数据湖,从而获得更大的价值。Databricks由Apache Spark的最初创建者创建,通过推出一个名为Delta Lake的新开源项目,Databricks继续创新,旨在使现有的数据湖更具可扩展性和可靠性。bob下载地址构建在无限可扩展的Azure数据湖存储之上,并与Azure SQL数据仓库深度集成,Azure Databricks上的Delta Lake使数据更好地为分析和机器学习工作负载做好准备。今天作为Azure Databricks的一部分提供,了解为什么大型组织正在就地升级他们的数据湖,零迁移到Delta lake !
  • 使用Azure Databricks和Azure机器学习(BRK3245)管理机器学习生命周期——微软的Premal Shah和Databricks的Mike Cornell分享了机器学习开发如何在软件开发之外拥有新的复杂性。有无数的工具和框架使得跟踪实验、重现结果和部署机器学习模型变得困难。了解如何使用MLflow和Azure ML在Azure Databricks上加速和管理端到端机器学习生命周期,从而使用Azure Databricks可靠地构建、共享和部署机器学习应用程序。
  • 实践Azure Databricks Delta Lake (WRK2013)——在这个实验室中,来自微软的Kyle Weller、Premal Shah、Shiva Nimmagadda Venkata和Santosh Perla指导与会者学习如何使用Azure Databricks Delta Lake提高数据工程管道的性能和可靠性。Delta Lake提供优化的布局,以支持大数据用例,从批处理和流式摄取,快速交互式查询,到机器学习。
  • 最大化Azure Databricks部署(BRK3043) -来自微软的Yatharth Gupta分享了充分利用Azure Databricks资源的见解和关键步骤。无论您是Spark新手还是Azure Databricks老手,都可以参加并学习使用Azure Databricks的提示、技巧和最佳实践。这些最佳实践基于实际行业客户的经验,涵盖了部署、管理、安全、网络、监控、机器学习等等。看看Azure Databricks的强大功能管理的火花经验可以让你的分析管道受益!
  • Azure Databricks和Azure机器学习更好地结合在一起(THR2186)——在这个剧场会议上,来自微软的Premal Shah演示了Azure Databricks和Azure机器学习之间的新集成,为我们的客户实现全面的端到端机器学习场景。
  • Azure Databricks Delta Lake时间旅行的数据再现性、审计、即时回滚和其他应用程序(BRK3254) -时间旅行现在可以使用Azure Databricks Delta Lake!微软的凯尔·韦勒揭示了德尔塔湖是如何使时间旅行成为可能的,以及为什么它对你很重要。通过演示、笔记和代码,他展示了几种常见的应用程序,以及它们如何改进现代数据工程管道。Delta Lake是一个开源存储层,它将ACID事务引入Apache Spark(TM)。它为并发读/写提供快照隔离。启用高效的上传、删除和立即回滚功能。它允许通过压缩和z顺序分区进行后台文件优化,实现高达100倍的性能提升。在本演示中,了解Delta Lake解决了哪些挑战,Delta Lake如何工作,以及新的Delta时间旅行功能的应用。

Azure数据库入门

乐趣还不止于此!继续学习:

跟着我们推特LinkedIn,脸谱网查看更多Azure Databricks新闻、客户重点介绍和新功能公告。

免费试用Databricks
看到所有公司博客上的帖子