宣布推出砖SQL

今天,我们宣布了新的砖SQL服务为砖的客户提供一流的经验进行BI和SQL工作负载直接在湖的数据。这次发射在砖给生活带来全新的体验,数据分析师和数据工程师要爱。服务提供了一个专用的sql native工作区,内置连接器让分析师查询数据湖泊的BI工具已经在使用,查询性能的创新,提供快速结果和新鲜的数据集比分析师通常可以访问,和新的治理和管理能力。这次的发布,我们是第一个实现完整的愿景lakehouse架构,结合数据仓库性能和数据湖经济学。

敌人是复杂性

大多数客户在日常业务运作了一个复杂的数据架构的云,它结合了数据仓库和数据湖泊。因此,客户的数据移动组织通过创建大量的数据仓库的数据管道。大量的时间是花在维护这些管道和系统从数据,而不是创造新的价值和下游消费者的数据很难获得真理的单一来源由于固有的数据仓库,得到创建。情况变得非常昂贵,财务和运营和决策速度和质量的负面影响。

到达这个问题是一个渐进的过程。开始与客户移动数据从关系数据库到40年前商业智能数据仓库。然后,数据湖泊大约10年前开始出现,因为仓库无法处理原始数据,视频,音频,图像,和自然语言数据,以及大规模结构化数据。

湖泊在云里的数据有很高的耐久性、低成本、和无限的规模,他们提供良好的数据支持科学和机器学习用例今天许多企业优先考虑。但是,所有的传统分析用例仍然存在。和支付,因此,客户一般两份他们的数据,他们花了很多时间工程过程保持同步。这就减慢决策的连锁效应,因为分析师和业务团队只有访问数据的发送到数据仓库而不是最新鲜,最完整的数据在数据湖。

最后,作为企业多重云变得日益普遍的现实,所有这些数据移动正在重复跨多个云平台。bob体育客户端下载

整个形势一片混乱。

交织在一起的复杂数据湖泊和数据仓库不可取,和我们的客户告诉我们,他们希望能够巩固和简化他们的数据架构。先进的分析和机器学习在非结构化和大规模数据今天最企业战略重点之一,和非结构化数据的增长会增加成倍增长,因此对客户有意义的思考定位数据湖为中心的数据基础设施。然而,这是可以实现的,数据湖需要一种方法采用数据仓库的优势。

lakehouse结合了最好的数据仓库和数据湖泊

lakehouse这种复杂性的答案是,一个平台架构,结合最好的湖泊和数据仓库的数据元素。bob体育客户端下载启用了lakehouse通过新系统设计实现类似的数据结构和数据管理功能与数据仓库直接在低成本存储用于云数据湖泊。架构是什么你会得到如果你不得不重新设计数据仓库在现代世界,现在,廉价和高可靠的存储(以对象的形式存储)是可用的。你可以阅读更多关于lakehouse的特征博客。

lakehouse的基础三角洲湖。三角洲湖带来了可靠性、性能、治理和质量数据湖泊,湖,使分析的数据是必要的。现在,使用正确的数据结构和数据管理功能,使lakehouse完成最后一英里是解决数据分析师如何查询数据。

介绍砖SQL

砖SQL允许客户执行BI和SQL工作负载在多重云lakehouse架构。这个新服务包含4个核心组件:一个专用的sql native工作区,内置连接器常见的BI工具,查询性能的创新和治理和管理能力。

一个sql native工作区

砖SQL提供了一个新的、为数据分析师,使用专用的工作区环境熟悉的基于SQL的查询数据湖泊三角洲湖表。因为砖SQL是一个完全独立的工作空间,数据分析师可以直接在砖平台没有notebook-based干扰的数据科学工具(尽管我们发现数据科学家真的也喜欢使用SQL编辑器)。bob体育客户端下载然而,由于数据分析师和数据科学家都是在相同的数据来源,整个基础设施大大简化和单一来源的真理。

工作区允许分析师轻易探索模式,保存经常使用代码片段快速重用,和缓存查询结果将随后的运行时间短。此外,可以将自动刷新查询更新,以及自动警报刷新问题,通过电子邮件或松弛,当数据中有意义的变化。

工作区还允许分析师通过丰富的数据可视化,并组织这些可视化拖拽仪表板。一旦建立,仪表盘可以很容易地共享与利益相关者共享数据洞察力无处不在的整个组织。

内置连接器现有BI工具和广泛的合作伙伴支持

生产BI,许多客户在BI投资软件画面和微软BI。让这些工具有最好的体验查询最新鲜,最完整的数据在数据湖,砖SQL包含内置连接器的所有主要今天BI工具。

整个数据生命周期,砖的推出支持SQL 500 +砖的合作伙伴生态系统。bob体育外网下载我们非常高兴有以下合作伙伴投资超越与我们在这个推出让顾客使用自己喜欢的分析工具与砖bob体育外网下载SQL和lakehouse架构:

• BI合bob体育外网下载作伙伴:表,权力BI,Qlik,美人,Thoughtspot
• 摄取的合作伙伴bob体育外网下载:Fivetran,Fishtown分析,Matillion,Talend,Qlik
• 目录的合作伙伴:bob体育外网下载Collibra,Alation
• 咨询合作伙伴:bob体育外网下载激流回旋,Thorogood,先进的分析,Avanade

快速查询性能

使对数据分析工作负载的很大一部分湖是解决性能。有两个核心挑战解决提供伟大的性能:查询用户吞吐量和并发性。

今年早些时候,我们宣布光子引擎,我们的多态查询执行引擎。光子引擎加速性能的三角洲湖SQL和数据帧负载通过三个组件:一个改进的查询优化器,一个缓存层和执行层之间,云对象存储,和一个多态矢量化的执行引擎用c++写的。与光子,客户发现查询执行时间高达10倍的速度比Apache 3.0火花。

与吞吐量处理,我们将我们的注意力转向用户并发性。在历史上,数据湖泊难以保持快速的性能在高用户数量。为了解决这个问题,砖自动扩展的SQL添加新SQL-optimized计算集群在响应用户负载提供一致的性能数据分析师湖查询数据数量的增加。设置这些集群是快速和容易通过控制台,和光子引擎是确保最高水平的内置查询吞吐量。外部BI客户可以通过专用的端点连接到集群。

治理和管理

最后,在砖的SQL控制台,我们允许管理员应用SQL数据访问控制(AWS,Azure)到你的表来获得更大的控制数据湖是用于分析中的数据。此外,我们提供可见性所有执行查询的历史深处,让你探索世界卫生组织,每个查询的时候,随着代码来帮助您执行遵从性和审计。查询历史还允许您理解的性能查询执行的每个阶段协助排除故障。

在行政方面,总细节你可以查询运行时,并发查询,高峰每小时排队查询等,以帮助您更好地优化你的基础设施。您还可以设置控件在运行时的限制,以防止坏的演员和失控的查询,查询队列的限制,等等。

开始

砖SQL完成的最后一步移动lakehouse架构从愿景到现实,和砖是骄傲的成为第一个给市场带来一个完整的lakehouse解决方案。数据团队的所有成员,从数据工程师和建筑师数据分析师的数据科学家,是合作比以往任何时候都更。砖平台的统一方法很容易合作和创新与真理的单一来源,大大简化了数据基础设施和更低bob体育客户端下载的成本。

今天在预览砖SQL是可用的。现有客户能接触到他们的帐户团队获得访问权限。另外,你可以通过请求访问砖SQL的产品页面。

注册访问砖SQL