您的集群上运行自定义数据砖运行时

配置您的集群运行自定义数据砖运行时图像通过UI或API。

写的rakesh.parija

去年发表在:2022年10月26日

大多数砖客户使用生产砖的运行时版本(AWS|Azure|GCP)集群。然而,可能有某些时候你被要求提出一个支持后运行一个定制的砖运行时的票。

删除

警告

自定义数据砖运行时创建的特定图像,短期修复和边界情况。如果一个定制的图像是合适的,它将由砖期间支持的情况下解决。

砖支持不能提供一个自定义图像的需求。你不应该打开一个票来请求一个定制的砖运行时。

这篇文章解释了如何使用自定义启动集群砖后运行时图像得到支持的运行时图像名称。

指令

使用工作空间界面

遵循特定的浏览器添加的步骤定制的火花版本场的新的集群菜单。

后启用定制的火花版本字段,你可以使用它来开始一个新的集群使用自定义数据砖运行时图像你给出的支持。

删除

信息

在本文中的步骤之后,您将会看到一个警告在浏览器的Javascript控制台,说:

不要复制粘贴任何东西。这可以用于您的帐户妥协。

就可以进入本文中列出的命令。

Chrome /边

  1. 登录到你的砖工作区。
  2. 点击计算。
  3. 点击通用的集群。
  4. 点击创建集群。
  5. 按命令+选项+ J (Mac)或控制+ Shift + (Windows、Linux ChromeOS)打开Javascript控制台。
  6. 输入window.prefs.set (“enableCustomSparkVersions”,真的)在Javascript控制台并运行命令。
  7. 重新加载页面。
  8. 定制的火花版本现在出现在新的集群菜单。
  9. 输入自定义数据砖运行时图像名称从砖的支持定制的火花版本字段。
  10. 继续正常创建集群。

火狐

  1. 登录到你的砖工作区。
  2. 点击计算。
  3. 点击通用的集群。
  4. 点击创建集群。
  5. 按命令+选项+ K (Mac)或控制+ Shift + K (Windows、Linux)打开Javascript控制台。
  6. 输入window.prefs.set (“enableCustomSparkVersions”,真的)在Javascript控制台并运行命令。
  7. 重新加载页面。
  8. 定制的火花版本现在出现在新的集群菜单。
  9. 输入自定义数据砖运行时图像名称从砖的支持定制的火花版本字段。
  10. 继续正常创建集群。

Safari

  1. 登录到你的砖工作区。
  2. 点击计算。
  3. 点击通用的集群。
  4. 点击创建集群。
  5. 按命令+选项+ C (Mac)打开Javascript控制台。
  6. 输入window.prefs.set (“enableCustomSparkVersions”,真的)在Javascript控制台并运行命令。
  7. 重新加载页面。
  8. 定制的火花版本现在出现在新的集群菜单。
  9. 输入自定义数据砖运行时图像名称从砖的支持定制的火花版本字段。
  10. 继续正常创建集群。

使用API

您需要设置的自定义图像spark_version属性,当开始一个集群通过API。

您可以使用API来创建交互式集群和工作与一个定制的砖集群运行时的形象。

“spark_version”:“自定义:< custom-runtime-version-name >

示例代码

此示例代码显示了spark_version属性的上下文中使用集群通过API开始。

% sh curl - h”授权:无记名< token-id >”- x发布https:// < databricks-instance > / api / 2.0 /集群/创建- d ' {“cluster_name”:“堆”、“spark_version”:“自定义:< custom-runtime-version-name >”,“node_type_id”:“r3。超大”、“spark_conf ":{"火花。aws_attributes“投机”:真}:{“可用性”:“现货”,“zone_id”:“us-west-2a”},“num_workers spark_env_vars“: 1,: {“SPARK_DRIVER_MEMORY”:“25 g”}}’


更多信息请查看创建集群API 2.0 (AWS|Azure|GCP)文档。

这篇文章有用吗?