bob体育客户端下载平台的博客

宣布Databricks SQL无服务器计算

即时计算,最低限度的管理和低成本的BI和SQL
分享这篇文章

砖的SQL已经直接在数据湖上为BI和SQL提供了一流的用户体验,今天,我们激动地宣布,通过Databricks SQL的无服务器计算,使数据和AI变得简单。Databricks SQL的这个新功能为用户的BI和SQL工作负载提供了即时计算,所需的管理最少,容量优化可以平均降低40%的总成本。这使得组织可以更容易地扩展对lakehouse的采用,以便业务分析师通过简单而高效的解决方案访问lakehouse的丰富的实时数据集。

在这个功能的背后是一个由Databricks完全管理的活动服务器群,它可以将计算能力转移到用户查询,通常在15秒左右。最棒的是什么?只有当用户开始运行报表或查询时,才需要为无服务器计算付费。

拥有业务分析师的组织,如果希望使用自己喜欢的BI工具分析数据湖中的数据,将受益于此功能。首先,将BI工具连接到Databricks SQL Serverless很容易,特别是使用内置的连接器,使用优化的JDBC/ODBC驱动程序,以获得简单的身份验证支持和高性能。

Databricks SQL本地连接器使您可以轻松地将数据湖连接到您喜爱的BI或SQL工具。

其次,无服务器SQL是为现代业务分析人员构建的,他们根据自己的日程安排工作,并希望即时计算可用来处理他们的查询,而无需等待集群启动或向外扩展。管理员通过手动配置和集群启动/关闭计划来努力保持领先于这些用户工作负载,但这充其量是不完美的,并且会因为过度配置和多余的空闲时间而导致额外的成本。

使用Databricks SQL控制台一键启用无服务器SQL。

这就是无服务器SQL为所有用户提供即时计算可用性的地方。只需单击一下即可启用,无需进行性能调优,并且自动管理补丁和升级。默认情况下,如果集群空闲了10分钟,无服务器SQL将自动关闭集群,删除资源并准备再次启动即时计算进程以进行下一个查询。这就是无服务器SQL帮助降低总体成本的方式——通过将容量与使用量相匹配,避免在用户不活动时过度供应和空闲容量。

客户已经开始使用无服务器SQL,并看到了好处:

“能够在几秒钟内获取数据并进行计算,这有助于我们的团队快速获得答案。在快速启动时间的情况下,能够自动放大和缩小,这使得我们使用BI和报告工具的尖锐工作负载更容易管理。”Anup Segu, YipitData数据工程技术主管
“无服务器SQL易于使用,并允许我们在相同的价格点解锁更多的性能。我们已经看到使用该功能提高了查询性能,并降低了成本。”Ben Thwaites,高级数据工程师,Intelematics

无服务器SQL计算内部

无服务器SQL的核心是一个计算平台,它操作一个服务器池,位于Databricks的帐户bob体育客户端下载中,运行Kubernetes容器,可以在几秒钟内分配给用户。

Databricks SQL Serverless的核心是一个计算平台,它操作一个服务器池,位于Databrbob体育客户端下载icks的帐户中,运行Kubernetes容器,可以在几秒钟内分配给用户。
无服务器SQL计算平台bob体育客户端下载

当许多用户同时运行报告或查询时,计算平台将更多服务器添加到集群(同样,在几秒钟内)以处理并发负载。bob体育客户端下载Databricks管理服务器的整个配置,并根据需要自动执行修补和升级。

每个服务器都运行安全配置,所有处理都由三层隔离保护——托管运行时的Kubernetes容器、托管容器的虚拟机(VM)和用于工作空间的虚拟网络。每一层都隔离到一个工作区,不允许共享或跨网络通信。容器使用加固配置,虚拟机关闭不重用,网络流量限制在同一集群内的节点。

比较启动时间、执行时间和成本

我们运行了一组内部测试,将Databricks SQL Serverless与当前Databricks SQL和几个传统的云数据仓库进行比较。我们发现,在考虑集群启动时间、查询执行时间和总体成本时,无服务器SQL是运行SQL工作负载最具成本效益和性能的环境。

内部测试发现,在考虑集群启动时间、查询执行时间和总体成本时,Databricks SQL Serverless是运行SQL工作负载的最具成本效益和性能的环境。
2021年云数据仓库基准报告:Databricks研究

开始

Databricks SQL Serverless是使BI和SQL在Lakehouse简单的另一个步骤。客户受益于他们最喜欢的BI和SQL工具可访问的高性能平台的即时计算、最低限度的管理和更低的成本。bob体育客户端下载用户会喜欢这种提高工作效率的方法,而管理员也会安心地知道他们的用户工作效率很高,而不会因为过度配置容量或浪费空闲计算而超出预算。每个人都赢了!

无服务器SQL今天可以在AWS上公开预览;客户应联系其客户团队以请求访问。

免费试用Databricks

相关的帖子

看到所有bob体育客户端下载平台的博客的帖子