使用集群和池标记监视使用情况

要监视成本并准确地将Databricks的使用归因于组织的业务单元和团队(例如,用于退款),您可以标记集群和池。

的砖计费使用图表在帐户控制台中可以按单个标记聚合使用情况。从同一页面下载的计费使用CSV报告还包括默认标记和自定义标记。标签也传播到GKE和GCE标签

带标记的对象和资源

您可以为Databricks管理的以下对象添加自定义标记:

对象

标签界面(UI)

标签接口(API)

池的用户界面在Databricks工作区中

实例池API

集群

集群的用户界面在Databricks工作区中

集群API

Databricks将以下默认标签添加到所有池和集群:

池标签键名

价值

供应商

常量的值:

DatabricksInstancePoolCreatorId

Databricks创建池的用户的内部ID

DatabricksInstancePoolId

数据库池的内部ID

集群标记键名

价值

供应商

常量的值:

ClusterId

数据库集群内部ID

ClusterName

集群名称

创造者

创建集群的用户名(邮箱)

在作业集群上,Databricks还应用了以下默认标记:

集群标记键名

价值

RunName

作业名

JobId

工作ID

在Databricks SQL使用的资源上,Databricks还应用了以下默认标签:

集群标记键名

价值

SqlWarehouseId

Databricks SQL仓库的内部ID

限制

  • 标签键和值只能包含ISO 8859-1中的字符(latin1)集。包含其他字符的标签将被忽略。

  • 如果更改标记键名称或值,则这些更改仅在集群重新启动或池扩展后应用。

  • 可以传播到的最大自定义标记数全球教育运动标签是54。

  • 的最大长度全球教育运动标签键和值是63个字符。

  • 由于项目的GCE API速率限制,标签传播可能会延迟。您可以通过提高谷歌云项目的GCE API速率限制来解决这个问题。

标签如何传播到使用报告

集群和池标签以三种不同的方式传播,您可以使用它们来聚合成本:

  • DBU报告中的标签:标签传播到DBU使用报告在下载的报告中。

  • GKE (Kubernetes)标签为每个豆荚:标签传播到GKE吊舱上的标签。这允许您使用GKE用量计量为所有Databricks计算资源分配成本。

  • 每个虚拟机及其持久磁盘的GCE标签:标签传播到GCE资源上的标签,如虚拟机及其持久磁盘。这允许您使用GCE使用计量对于所有Databricks计算资源的谷歌Cloud成本聚合,该标签比GKE标签更准确。标签的键和值是转换为符合GCE标签格式限制

标签如何为从池创建的集群传播

标签以不同的方式传播到节点实例,这取决于集群是否是从池创建的。

  • 如果集群不是从池创建的,那么它的标记将按预期传播到节点实例。

  • 如果从池创建集群,则其实例将继承池标记和集群标记。池的标签直接用于虚拟机使用数据,仅用于空闲的虚拟机。

  • 如果标记名称冲突,Databricks默认标记优先于自定义标记,池标记优先于集群标记。

集群和池标记传播

GCE标签限制

GKE标签可以直接使用Databricks标签键和值。

对于GCE标签,有以下限制:

  • 键和值只能由小写字母、数字字符、下划线和破折号组成。

  • GCE标签键和值的最大长度为63个字符。

  • 可以传播到GCE标签的最大标签数为54。

为了符合GCE格式规则,标记在成为GCE标签键和值之前要进行转换。如果转换后存在重复项,则标记定义中较晚(较低)出现的键和值对将保持不变。

下表比较了GKE和GCE默认集群标记。

GKE标签键

GKE标签值

GCE标签键

GCE标签值

供应商

供应商

ClusterId

砖ID

clusterId

砖ID

ClusterName

客户定义的名称

clustername

小写的客户定义名称。如果字符不是字母、数字、下划线或破折号,则会被删除。例如,我的集群就变成了mycluster

创造者

创建者用户的电子邮件地址@取而代之的是_at_.例如user123_at_www.neidfyre.com

创造者

创建者用户的电子邮件地址@取而代之的是_at_.字母小写。如果字符不是字母、数字、下划线或破折号,则会被删除。例如,X + Y@www.neidfyre.com就变成了xy_at_www.neidfyre.com

下表比较了GKE和GCE默认实例池标记:

GKE标签键

GKE标签值

GCE标签键

GCE标签值

DatabricksInstancePoolId

砖ID

databricksinstancepoolid

砖ID

DatabricksInstancePoolCreatorId

砖ID

databricksinstancepoolcreatorid

砖ID

下表比较了所有其他标签(自定义标签)的GKE和GCE:

GKE标签键

GKE标签值

GCE标签键

GCE标签值

客户定义的关键

客户定义的值

客户定义的小写键。如果字符不是字母、数字、下划线或破折号,则会被删除。例如,我的关键就变成了mykey

客户定义的价值小写。如果字符不是字母、数字、下划线或破折号,则会被删除。例如,我的。瓦尔就变成了myval