AWS启用引力子的集群
数据库集群支持AWS重子实例。这些实例使用aws设计的Graviton处理器,该处理器构建在Arm64指令集架构之上。AWS声称,与Amazon EC2上的任何实例类型相比,使用这些处理器的实例类型具有最佳的性价比。
可用性
Databricks支持AWS graviton集群:
在Databricks Runtime 9.1 LTS以上为非光子,Databricks Runtime 10.2(不支持)和以上的光子。
在所有AWS区域。但是请注意,并不是所有区域中都有所有实例类型。如果您选择了工作区区域中不可用的实例类型,则会出现集群创建失败。
对于以下AWS Graviton实例族:
non-Photon:
光子:
仅适用于AWS Graviton2处理器。
请注意
启用了graviton的集群不支持Delta Live Tables。
创建启用AWS graviton的集群
请使用创建集群来创建AWS graviton支持的集群。
指定集群的AWS Graviton实例类型的过程取决于您用于创建集群的方法。下面的说明是针对每个集群创建过程的:
创建按钮或集群UI
请按照创建集群.为Databricks运行时版本,选择前面列出的运行时之一可用性部分。为工作类型,驱动程序类型,或两者都有,请选择前面列出的可用AWS Graviton实例类型之一可用性部分。
数据库REST API
设置身份验证为数据库REST API,如果你还没有这样做的话。
调用
帖子集群/创建
在集群API.例如,你可以使用旋度
进行类似如下的呼叫:—netrc -X POST\https://dbc-a1b2345c-d6e7.cloud.www.neidfyre.com/api/2.0/clusters/create\——数据@create-cluster.json
create-cluster.json
:{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2}
前面的请求有效负载指定了一个非photon运行时。要指定Photon运行时,请添加
runtime_engine:“光子”
到请求有效负载,如下所示。(不要添加光子
在世界的任何地方spark_version
字段。)光子:
{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2,“runtime_engine”:“光子”}
砖CLI
运行
集群创建
中的子命令。集群CLI.例如,运行如下子命令:数据集群创建——json-file create-cluster.json
create-cluster.json
:{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2}
前面的请求有效负载指定了一个非photon运行时。要指定Photon运行时,请添加
runtime_engine:“光子”
到请求有效负载,如下所示。(不要添加光子
在世界的任何地方spark_version
字段。)光子:
{“cluster_name”:“my-cluster”,“spark_version”:“10.2.x-scala2.12”,“node_type_id”:“m6gd.large”,“num_workers”:2,“runtime_engine”:“光子”}
Databricks Terraform提供商
安装和配置Terraform操作所需的命令行工具,如果你还没有这样做的话。
创建并运行Terraform配置,该配置创建数据集群资源.例如,您可以运行类似如下的最小配置:
Terraform {required_providers {databricks = {source = "databricks/databricks"}}} provider "databricks" {} resource "databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "num_workers = 2}
前面的请求有效负载指定了一个非photon运行时。要指定Photon运行时,请添加
runtime_engine:“光子”
到请求有效负载,如下所示。(不要添加光子
在世界的任何地方spark_version
字段。)光子:
资源"databricks_cluster" "this" {cluster_name = "my-cluster" spark_version = "10.2.x-scala2.12" node_type_id = "m6gd. "large" num_workers = 2, runtime_engine = "PHOTON"}
限制
另请参阅
引力子处理器在AWS网站上
AWS Graviton入门GitHub上
AWS新闻博客:Graviton在AWS网站上