Serverless计算

serverless计算版本砖平台的体系结构,计算层存在于你的砖账户而不是你的AWS帐户。bob体育客户端下载

砖SQL Serverless

砖SQL Serverless支持serverless计算。管理员可以创建serverless SQL仓库(原SQL端点),使即时计算和由砖来管理。Serverless SQL仓库在你的砖账户使用计算集群。与砖的SQL查询使用它们就像你通常会与原customer-hosted SQL仓库,现在称之为经典SQL仓库。

砖从SQL端点SQL仓库改名,因为在这个行业,端点是指一个远程计算设备与网络的连接,或云服务的入口点。数据仓库是一种数据管理系统,将来自多个源的当前和历史数据存储在一个商业友好的方式更容易的见解和报告。SQL仓库准确地描述这个计算资源的完整功能。

如果serverless SQL仓库启用您的帐户,请注意以下几点:

  • 新的SQL仓库默认serverless当您创建的用户界面。新的SQL仓库不是serverless默认情况下使用当您创建它们API,它要求您显式地指定serverless。您还可以创建新的职业或经典SQL仓库使用方法。仓库类型默认值的更多信息,请参阅仓库类型的缺省值是什么?。

  • 你可以升级专业版或经典SQL仓库serverless SQL仓库或者一个经典的SQL仓库支持SQL仓库。你也可以从serverless降级到pro或经典。

  • 此功能仅影响砖的SQL。它不影响砖集群运行时使用笔记本和工作数据科学与工程或砖机器学习的空间环境。砖集群运行时总是运行在典型的数据平面在AWS帐户。看到Serverless配额。

如果你的账户需要更新使用条款,工作区管理员提示砖SQL的UI。

如果你的工作空间有一个AWS实例配置文件,您可能需要更新信任关系支持serverless计算,这取决于如何以及何时创建它。

区域支持,看到砖云层和地区。

模型服务

模型服务部署MLflow机器学习(ML)模型和公开他们是REST API端点在砖帐户运行。< ServerlessCompute >资源运行砖AWS资源被称为serverless数据平面。

相比之下,传统模型服务架构是一个单节点集群,运行在AWS帐户内的经典数据平面。

  • 简单的配置和计算资源管理针对生产环境:砖自动准备为您的模型及其计算便于开关配置。

  • 高可用性和可伸缩性端点:Serverless模型自动定量,这意味着服务器副本的数量自动调整基于评分的请求的数量。

  • 指示板:使用内置的serverless模型端点仪表板监控模型的健康端点使用指标如queries-per-second(每秒),延迟和错误率。

区域支持,看到砖云层和地区。

您可以使用serverless模型服务之前,您必须的为您的帐户启用serverless计算。

Serverless配额

Serverless配额是Serverless计算的安全措施。Serverless配额限制多少Serverless计算资源客户可以在任何给定的时间。配额实施区域层面上对所有工作空间在您的帐户。配额只执行serverless SQL仓库。看到Serverless配额。

比较serverless其他砖结构的计算

砖的运营控制飞机和一个数据平面:

  • 砖的控制平面包括后端服务管理的AWS帐户。砖的SQL查询,笔记本的命令,和许多其他工作区配置存储在控制平面和加密在休息的时候。

  • 飞机就是数据处理的数据集群的计算资源。

有重要的差异经典的数据平面(原砖平台体系结构)的和bob体育客户端下载serverless数据平面:

  • 对于一个典型的数据平面,砖计算资源在AWS帐户运行。集群执行分布式数据分析使用查询(在砖SQL)或笔记本电脑(在数据科学与工程或砖机学习环境):

    • 在每个工作区创建新的集群的虚拟网络客户的AWS帐户。

    • 一个典型的数据平面自然隔离,因为它运行在每个客户的AWS帐户。

  • serverless数据平面,砖计算资源的运行在一个计算层砖内账户:

    • serverless数据平面用于serverless SQL仓库和模型。使serverless计算不改变砖集群运行时数据科学与工程或砖机的工作学习环境。

    • 保护客户数据在serverless数据平面,serverless计算网络内运行工作空间的边界,与各层的安全隔离不同的砖客户工作区和额外的网络控制集群之间相同的客户。

砖创建一个serverless数据平面在同一AWS地区作为工作空间的经典数据平面。

工作者节点是私人的,这意味着他们没有公共IP地址。

砖之间的通信控制平面和serverless数据平面:

  • 对于砖SQL Serverless,通信使用私人连接。

  • 模型服务的通信使用mtl加密通信的连接发起控制平面与IP地址访问限制在控制飞机。

当阅读或写在同一地区AWS S3 bucket工作区,serverless SQL仓库现在使用直接访问S3使用AWS网关端点。这适用于当一个serverless SQL仓库的读和写你的工作空间的根S3 bucket AWS帐户和其他S3数据源在同一地区。

下面的图显示了重要的区别serverless数据平面和经典数据平面的serverless特性。

比较经典和serverless数据平面砖SQL
比较经典和serverless数据平面模型

关于安全的集群连接的更多信息,这是在图中所提到的,看到的安全集群连接。

下表总结了serverless差异计算和砖的经典数据平面架构,关注产品的安全。它不是一个完整的解释这些安全特性或详细的比较。更多细节关于serverless计算安全,或如果你有问题关于物品在此表,请联系您的砖的代表。

项

Serverless数据平面(AWS)

经典的数据平面(AWS和Azure)

控制平面的位置的资源

砖云账户

砖云账户

数据平面计算资源的位置

Serverless数据平面(VPC砖AWS帐户)

在客户的经典数据平面(VPC云提供商账户)

数据平面计算资源

Databricks-managed Kubernetes(的)集群

Databricks-managed独立的虚拟机

客户访问数据平面

通过砖控制飞机

  • AWS:直接访问客户的AWS帐户。额外的间接访问通过砖控制飞机。

  • Azure:直接只读访问集群,即使VNet注入(customer-managed VNet)。额外的间接访问通过砖控制飞机。

谁支付未赋值的vm砖SQL的吗?

砖

不适用。对于职业和经典SQL仓库,没有未赋值的虚拟机的概念。在砖SQL,没有直接相当于温暖实例池笔记本和工作。

后支付vm启动一个仓库或运行在砖SQL查询吗?

客户支付基于DBUs直到汽车停止停止SQL仓库。

客户支付AWS的vm,客户支付基于DBUs砖。

虚拟私有网络(VPC)数据平面

在客户的砖账户VPC,工作区和集群之间之间的网络边界。

  • AWS:独家,VPC在客户的帐户。

  • Azure:独家,联接在客户的帐户。

操作系统映像

Databricks-modified云托管Amazon-linux2

Databricks-managed Ubuntu或CentOS

技术管理默认VPC的出口

Databricks-created AWS互联网网关

默认网络网关或负载平衡器提供的云

定制VPC和防火墙设置

没有

是的

定制CIDR范围

没有

是的

公共ip

没有

安全集群连接

  • 当残疾人,一个为每个VM公共IP。

  • 启用时(默认),没有公众对虚拟机的ip。

集装箱层面网络隔离砖运行时的集群

使用Kubernetes网络策略

使用Databricks-managediptable规则

vm级别网络隔离砖运行时的集群

安全组隔离

安全组和隔离VPC (AWS)或联接(Azure)

虚拟机隔离

vm集群中可以完成他们之间的沟通,但不允许入口流量与其他集群。

vm集群中可以完成他们之间的沟通,但不允许入口流量与其他集群。

控制平面和数据平面之间的沟通

砖SQL Serverless通信使用私人连接。模型服务,通信使用直接mtl加密通信与控制平面的连接发起访问限制在控制飞机的IP地址。

安全集群连接

  • 当启用AWS E2和Azure(默认):单个虚拟机连接到集群创建期间SCC继电器在控制平面

  • 当禁用:控制平面连接到单个vm使用公共ip。

首次部署凭据

砖内部我的角色

  • AWS:我的角色由客户提供。

  • Azure:没有必要的。

为常规数据平面操作证书

砖调用sts: AssumeRole在customer-provided我的角色。

  • AWS:vm运行与实例资料由客户提供sts: PassRole)。

  • Azure:自身的应用程序令牌。

的位置存储DBFS根和工作区系统数据

客户创建客户帐户的S3 bucket工作区创造的一部分。

  • AWS:客户创建客户帐户的S3 bucket工作区创造的一部分。

  • Azure:砖创建存储在客户账户作为工作区创造的一部分。