AWS启用引力子的集群

数据库集群支持AWS重子实例。这些实例使用aws设计的Graviton处理器,该处理器构建在Arm64指令集架构之上。AWS声称,与Amazon EC2上的任何实例类型相比,使用这些处理器的实例类型具有最佳的性价比。

可用性

Databricks支持AWS graviton集群:

请注意

启用了graviton的集群不支持Delta Live Tables。

创建启用AWS graviton的集群

请使用创建集群来创建AWS graviton支持的集群。

指定集群的AWS Graviton实例类型的过程取决于您用于创建集群的方法。下面的说明是针对每个集群创建过程的:

创建按钮或集群UI

请按照创建集群.为Databricks运行时版本,选择前面列出的运行时之一可用性部分。为工作类型驱动程序类型,或两者都有,请选择前面列出的可用AWS Graviton实例类型之一可用性部分。

数据库REST API

  1. 设置身份验证数据库REST API,如果你还没有这样做的话。

  2. 使用您选择的工具调用Databricks REST API,例如旋度邮递员

  3. 调用帖子集群/创建集群API.例如,你可以使用旋度进行类似如下的呼叫:

    —netrc -X POSThttps://dbc-a1b2345c-d6e7.cloud.www.neidfyre.com/api/2.0/clusters/create——数据@create-cluster.json

    create-cluster.json

    “cluster_name”“my-cluster”“spark_version”“10.2.x-scala2.12”“node_type_id”“m6gd.large”“num_workers”2

    前面的请求有效负载指定了一个非photon运行时。要指定Photon运行时,请添加runtime_engine:“光子”到请求有效负载,如下所示。(不要添加光子在世界的任何地方spark_version字段。)

    光子:

    “cluster_name”“my-cluster”“spark_version”“10.2.x-scala2.12”“node_type_id”“m6gd.large”“num_workers”2“runtime_engine”“光子”

砖CLI

  1. 设置CLI而且设置身份验证,如果你还没有这样做的话。

  2. 运行集群创建中的子命令。集群CLI.例如,运行如下子命令:

    数据集群创建——json-file create-cluster.json

    create-cluster.json

    “cluster_name”“my-cluster”“spark_version”“10.2.x-scala2.12”“node_type_id”“m6gd.large”“num_workers”2

    前面的请求有效负载指定了一个非photon运行时。要指定Photon运行时,请添加runtime_engine:“光子”到请求有效负载,如下所示。(不要添加光子在世界的任何地方spark_version字段。)

    光子:

    “cluster_name”“my-cluster”“spark_version”“10.2.x-scala2.12”“node_type_id”“m6gd.large”“num_workers”2“runtime_engine”“光子”

Databricks Terraform提供商

  1. 安装和配置Terraform操作所需的命令行工具,如果你还没有这样做的话。

  2. 创建并运行Terraform配置,该配置创建数据集群资源.例如,您可以运行类似如下的最小配置:

    Terraform {required_providers {databricks = {source = "databricks/databricks"}}} provider "databricks" {} resource "databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "num_workers = 2}

    前面的请求有效负载指定了一个非photon运行时。要指定Photon运行时,请添加runtime_engine:“光子”到请求有效负载,如下所示。(不要添加光子在世界的任何地方spark_version字段。)

    光子:

    资源"databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "large" num_workers = 2, runtime_engine = "PHOTON"}

限制

ARM64 ISA

  • 浮点精度变化:典型的加、减、乘、除操作在精度上没有变化。对于单个三角形函数,如而且因为,与Intel实例的精度差的上限为1.11 e-16

  • 第三方支持:ISA中的更改可能会对第三方工具和库的支持产生一些影响。

  • 混合实例集群:Databricks不支持混合AWS Graviton和非AWS Graviton实例类型,因为每种类型都需要不同的Databricks运行时。

不支持的功能

AWS Graviton不支持以下特性:

  • Databricks运行时机器学习

  • ARM64上的JDK 11 for Databricks Runtime 10及以上版本

  • Databricks容器服务

  • Delta活动表

  • 砖的SQL

另请参阅