公司博客上

YipitData示例突出了Databricks与AWS Glue集成的好处

分享这篇文章

在Databricks,我们与Amazon Web Services (AWS)的团队合作,提供与AWS Glue Metastore的无缝集成。数据库易于使用胶作为亚瘤甚至跨多个工作空间。YipitData,Databricks的长期客户,充分利用了这一特性,将所有元数据存储在AWS Glue中。Databricks与Glue的集成使YipitData能够与所有在其metastore中编目的数据无缝交互。

YipitData是一家专门从事采购和分析的数据公司替代数据为基本面投资者解答关键问题。YipitData依赖于的规模和处理能力Databricks统一数据分析为了竞争优势。与同行相比,他们能够以不同的方式丰富和分析更多种类的数据。使用AWS Glue Metastore的能力对他们的持续增长和成功起到了重要作用。

YipitData使用AWS Glue和Databricks的主要好处:

  • 他们的所有元数据都位于一个数据目录中,可以通过数据湖轻松访问。亚转移的同步是一项艰巨的挑战,而使用Glue消除了这一负担。
  • 他们能够使用相同的metastore在现有堆栈中快速无缝地集成工具。例如,它们经常使用Amazon Athena执行快速查询。使用Databricks ETL的数据可以很容易地访问AWS堆栈中的任何工具,包括Amazon Cloudwatch以启用监控。
  • AWS Glue的API是大量排序和过滤的理想选择。了解成千上万个表的过期是Yipidata业务的核心,而与Databricks一起完成这项工作过去需要8个小时。现在这可以在5分钟内完成。

Databricks还提供了一些帮助YipitData成功的优势。笔记本电脑的强大功能使信息共享成为可能,消除了过去常见的部落知识孤岛——现在他们的分析师能够轻松地共享信息。使用AWS的单点登录服务对团队来说也是一个巨大的好处,因为他们不需要实现昂贵复杂的第三方解决方案。Databricks的扩展能力意味着,正如YipitData的员工工程师Andrew Gross所说,“Databricks允许我们毫不费力地以规模换速度,这在以前是不可能的。”

开始使用Databricks和AWS Glue

您可以应用Databricks和AWS Glue的强大功能来帮助解决最棘手的数据问题。BOB低频彩欲知详情,请浏览https://docs.www.neidfyre.com/data/metastores/aws-glue-metastore.html

额外的资源

使用AWS胶水数据目录作为数据库的Metastore

使用AWS Glue的AWS数据湖Delta转换

免费试用Databricks
看到所有公司博客上的帖子