开始
加载和管理数据
处理数据
政府
引用和资源
2023年2月24日更新
给我们反馈
本文解释如何阅读和分析使用数据从您的砖帐户。
你可以控制台视图直接计费使用帐户。你也可以下载或时间表交付计费使用日志以多种方式:
直接从账户下载计费使用控制台
直接使用账户下载计费使用API
计费使用S3 bucket,交付使用帐户配置API
在所有这些情况下,CSV文件模式是相同的。
列
类型
描述
例子
workspaceId
字符串
ID的工作区。
1234567890123456
时间戳
datetime
提供使用的小时。
2019 - 02年- 22 - t09:59:59.999z
clusterId
ID的集群(集群)或仓库(用于SQL仓库)
集群的例子:0406 - 020048 brawl507
0406 - 020048 brawl507
SQL仓库的例子:8 e00f0c8b392983e
8 e00f0c8b392983e
clusterName
用户提供的集群的名称/仓库。
共享自动定量
clusterNodeType
实例类型的集群/仓库。
集群的例子:m4.16xlarge
m4.16xlarge
SQL仓库的例子:db.xlarge
db.xlarge
clusterOwnerUserId
用户的ID创建集群/仓库。
12345678901234
clusterCustomTags
字符串(“逃json)
与集群相关的自定义标记/仓库在这个小时。
“{”“部门”“:”“mktg”“、”“op_phase”“:”“开发”“}”
sku
计费SKU。看到计费sku表的值列表。
STANDARD_ALL_PURPOSE_COMPUTE
dbus
双
用户使用的DBUs数量在这一小时。
1.2345
machineHours
机器小时总数由集群中的所有容器/仓库使用。
12.345
clusterOwnerUserName
用户名(电子邮件)的用户创建集群/仓库。
user@yourcompany.com
标签
违约和自定义集群/仓库标签,默认和自定义实例池标签与集群相关的(如适用)在这一小时。看到集群的标签,仓库标签,池标签。这是一种的超集clusterCustomTags列。
“{”“部门”“:”“mktg”“、”“op_phase”“:”“开发”,”“供应商”“:”“砖”," ClusterId ": " 0405 - 020048 brawl507””,”“创造者”“:”“user@yourcompany.com”“}”
“{”“部门”“:”“mktg”“、”“op_phase”“:”“开发”,
”“供应商”“:”“砖”,
" ClusterId ": " 0405 - 020048 brawl507””,
”“创造者”“:”“user@yourcompany.com”“}”
AWS_ENHANCED_SECURITY_AND_COMPLIANCE
ENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_(光子)
ENTERPRISE_DLT_CORE_COMPUTE
ENTERPRISE_DLT_CORE_COMPUTE_(光子)
ENTERPRISE_DLT_PRO_COMPUTE
ENTERPRISE_DLT_PRO_COMPUTE_(光子)
ENTERPRISE_DLT_ADVANCED_COMPUTE
ENTERPRISE_DLT_ADVANCED_COMPUTE_(光子)
ENTERPRISE_JOBS_COMPUTE
ENTERPRISE_JOBS_COMPUTE_(光子)
ENTERPRISE_JOBS_LIGHT_COMPUTE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
ENTERPRISE_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
ENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_COMPUTE
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
ENTERPRISE_SQL_PRO_COMPUTE_US_EAST_OHIO
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_OREGON
ENTERPRISE_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
ENTERPRISE_SQL_PRO_COMPUTE_CANADA
ENTERPRISE_SQL_PRO_COMPUTE_SA_BRAZIL
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_IRELAND
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_LONDON
ENTERPRISE_SQL_PRO_COMPUTE_EUROPE_FRANCE
ENTERPRISE_SQL_PRO_COMPUTE_AP_SYDNEY
ENTERPRISE_SQL_PRO_COMPUTE_AP_MUMBAI
ENTERPRISE_SQL_PRO_COMPUTE_AP_SINGAPORE
ENTERPRISE_SQL_PRO_COMPUTE_AP_TOKYO
ENTERPRISE_SQL_PRO_COMPUTE_AP_SEOUL
PREMIUM_ALL_PURPOSE_COMPUTE
PREMIUM_ALL_PURPOSE_COMPUTE_(光子)
PREMIUM_DLT_CORE_COMPUTE
PREMIUM_DLT_CORE_COMPUTE_(光子)
PREMIUM_DLT_PRO_COMPUTE
PREMIUM_DLT_PRO_COMPUTE_(光子)
PREMIUM_DLT_ADVANCED_COMPUTE
PREMIUM_DLT_ADVANCED_COMPUTE_(光子)
PREMIUM_JOBS_COMPUTE
PREMIUM_JOBS_COMPUTE_(光子)
PREMIUM_JOBS_LIGHT_COMPUTE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_AP_SYDNEY
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_EAST_OHIO
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_US_WEST_OREGON
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_CANADA
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_IRELAND
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_EUROPE_FRANKFURT
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SINGAPORE
PREMIUM_SERVERLESS_REAL_TIME_INFERENCE_LAUNCH_AP_SYDNEY
PREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGON
PREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELAND
PREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
PREMIUM_SQL_COMPUTE
PREMIUM_SQL_PRO_COMPUTE_US_EAST_N_VIRGINIA
PREMIUM_SQL_PRO_COMPUTE_US_EAST_OHIO
PREMIUM_SQL_PRO_COMPUTE_US_WEST_OREGON
PREMIUM_SQL_PRO_COMPUTE_US_WEST_CALIFORNIA
PREMIUM_SQL_PRO_COMPUTE_CANADA
PREMIUM_SQL_PRO_COMPUTE_SA_BRAZIL
PREMIUM_SQL_PRO_COMPUTE_EUROPE_IRELAND
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANKFURT
PREMIUM_SQL_PRO_COMPUTE_EUROPE_LONDON
PREMIUM_SQL_PRO_COMPUTE_EUROPE_FRANCE
PREMIUM_SQL_PRO_COMPUTE_AP_SYDNEY
PREMIUM_SQL_PRO_COMPUTE_AP_MUMBAI
PREMIUM_SQL_PRO_COMPUTE_AP_SINGAPORE
PREMIUM_SQL_PRO_COMPUTE_AP_TOKYO
PREMIUM_SQL_PRO_COMPUTE_AP_SEOUL
STANDARD_ALL_PURPOSE_COMPUTE_(光子)
STANDARD_DLT_CORE_COMPUTE
STANDARD_DLT_CORE_COMPUTE_(光子)
STANDARD_DLT_PRO_COMPUTE
STANDARD_DLT_PRO_COMPUTE_(光子)
STANDARD_DLT_ADVANCED_COMPUTE
STANDARD_DLT_ADVANCED_COMPUTE_(光子)
STANDARD_JOBS_COMPUTE
STANDARD_JOBS_COMPUTE_(光子)
STANDARD_JOBS_LIGHT_COMPUTE
以下sku已经弃用:
弃用SKU的名字
弃用日期
更换sku
LIGHT_AUTOMATED_NON_OPSECLIGHT_AUTOMATED_OPSEC
LIGHT_AUTOMATED_NON_OPSEC
LIGHT_AUTOMATED_OPSEC
2020年3月
STANDARD_JOBS_LIGHT_COMPUTEPREMIUM_JOBS_LIGHT_COMPUTEENTERPRISE_JOBS_LIGHT_COMPUTE
STANDARD_AUTOMATED_NON_OPSECSTANDARD_AUTOMATED_OPSEC
STANDARD_AUTOMATED_NON_OPSEC
STANDARD_AUTOMATED_OPSEC
STANDARD_JOBS_COMPUTEPREMIUM_JOBS_COMPUTEENTERPRISE_JOBS_COMPUTE
STANDARD_INTERACTIVE_NON_OPSECSTANDARD_INTERACTIVE_OPSEC
STANDARD_INTERACTIVE_NON_OPSEC
STANDARD_INTERACTIVE_OPSEC
STANDARD_ALL_PURPOSE_COMPUTEPREMIUM_ALL_PURPOSE_COMPUTEENTERPRISE_ALL_PURPOSE_COMPUTE
ENTERPRISE_ALL_PURPOSE_COMPUTE_ (DLT)PREMIUM_ALL_PURPOSE_COMPUTE_ (DLT)STANDARD_ALL_PURPOSE_COMPUTE_ (DLT)
ENTERPRISE_ALL_PURPOSE_COMPUTE_ (DLT)
PREMIUM_ALL_PURPOSE_COMPUTE_ (DLT)
STANDARD_ALL_PURPOSE_COMPUTE_ (DLT)
2022年4月
ENTERPRISE_DLT_CORE_COMPUTEPREMIUM_DLT_CORE_COMPUTESTANDARD_DLT_CORE_COMPUTE
ENTERPRISE_SERVERLESS_SQL_COMPUTEPREMIUM_SERVERLESS_SQL_COMPUTESTANDARD_SERVERLESS_SQL_COMPUTE
ENTERPRISE_SERVERLESS_SQL_COMPUTE
PREMIUM_SERVERLESS_SQL_COMPUTE
STANDARD_SERVERLESS_SQL_COMPUTE
2022年6月
ENTERPRISE_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIAENTERPRISE_SERVERLESS_SQL_COMPUTE_US_WEST_OREGONENTERPRISE_SERVERLESS_SQL_COMPUTE_EUROPE_IRELANDENTERPRISE_SERVERLESS_SQL_COMPUTE_AP_SYDNEYPREMIUM_SERVERLESS_SQL_COMPUTE_US_EAST_N_VIRGINIAPREMIUM_SERVERLESS_SQL_COMPUTE_US_WEST_OREGONPREMIUM_SERVERLESS_SQL_COMPUTE_EUROPE_IRELANDPREMIUM_SERVERLESS_SQL_COMPUTE_AP_SYDNEY
本节描述如何使计费使用CSV文件中的数据可用于砖进行分析。它描述的选项创建一个表,包括使用一个示例的笔记本,你可以使用它来运行使用分析仪表盘。
CSV文件使用的格式是标准商业电子表格应用程序,但需要读取修改Apache火花。你必须使用选项(“逃脱”,“\”)当您创建的表在砖使用。
选项(“逃脱”,“\”)
DBUs总额之和dbus列。
您可以使用加载数据使用UI添加数据将CSV文件导入到砖进行分析。
您还可以使用下面的代码来创建使用表从CSV文件路径:
df=(火花。读。选项(“头”,“真正的”)。选项(“inferSchema”,“真正的”)。选项(“逸出”,”\””)。csv(“/ FileStore /表/ usage_data.csv”))df。createOrReplaceTempView(“使用”)
如果文件存储在S3存储桶,例如使用日志时交付,将看起来像下面的代码。您可以指定一个文件路径或一个目录。如果你通过一个目录,所有文件都是进口的。下面的示例指定一个文件。
df=(火花。读。选项(“头”,“真正的”)。选项(“inferSchema”,“真正的”)。选项(“逸出”,”\””)。负载(“s3: / / < bucketname > / < pathprefix > / billable-usage csv / workspaceId = < workspace-id > -usageMonth = <月> . csv”))df。createOrReplaceTempView(“使用”)
下面的例子进口计费使用的目录文件:
df=(火花。读。选项(“头”,“真正的”)。选项(“inferSchema”,“真正的”)。选项(“逸出”,”\””)。负载(“s3: / / < bucketname > / < pathprefix > / billable-usage / csv /”))df。createOrReplaceTempView(“使用”)
创建一个增量表DataFrame (df)在前面的示例中,使用以下代码:
df
(df。写。格式(“δ”)。模式(“覆盖”)。saveAsTable(“database_name.table_name”))
警告
保存的δ表不自动更新当你添加或更换新的CSV文件。如果你需要最新的数据,重新运行这些命令之前使用差值表。
如果你使用计费使用交付,您可以使用以下的笔记本运行使用S3 bucket仪表板通过提供一个路径分析你的CSV文件并输入报表参数存储在一个小部件。
你使用的小部件,进入报表参数上面出现第一个笔记本电池当你导入笔记本砖工作区。小部件没有出现在浏览器只视图的笔记本。这里有一个小部件的图片:
在新标签页打开笔记本