配置审计日志记录

开启/关闭详细审计日志

1. 作为管理员，去数据库管理控制台．

2. 点击工作空间设置．

3. 旁边详细审计日志，启用或禁用该特性。

启用或禁用详细日志记录时，将在类别中发出可审计事件工作空间用行动workspaceConfKeys．的workspaceConfKeys请求参数为enableVerboseAuditLogs．请求参数workspaceConfValues是真正的(功能启用)或假(功能禁用)。

额外的详细笔记本操作

审计日志类别中的额外详细操作笔记本：

额外的verbose Databricks SQL操作

审计日志类别中的其他操作databrickssql：

检查响应字段显示与命令结果相关的附加信息。

• statusCode—HTTP响应码。这将是错误400如果它是一个一般错误。

  • errorMessage—错误提示。在某些情况下，对于某些长时间运行的命令errorMessage字段不能在失败时填充。

  • 结果：此字段为空．

配置选项

如果需要配置审计日志下发，您可以选择以下选项。

• 如果Databricks帐户中有一个工作空间，请按照以下部分中的说明，为您的工作空间创建一个具有公共配置的单个配置对象。

• 如果您在同一个Databricks帐户中有多个工作区，您可以执行以下任何操作:

  • 帐户中的所有工作空间共享相同的配置(日志传递S3桶和IAM角色)。这是唯一可以交付帐户级审计日志的配置选项。这是默认选项。

  • 为帐户中的每个工作空间使用单独的配置。

  • 为不同的工作空间组使用单独的配置，每个组共享一个配置。

• 如果您有多个工作区，每个工作区都与一个单独的Databricks帐户相关联，那么您必须为每个帐户创建唯一的存储和凭据配置对象，但是您可以在这些配置对象之间重用S3桶或IAM角色。

高级流

审计日志传递的高层流程:

1. 配置存储:“AWS”下，新建AWS S3桶。使用Databricks API，调用Account API创建一个使用桶名的存储配置对象。

   请注意

   如果需要将日志发送到已创建的IAM角色帐户以外的AWS帐户，则需要添加S3桶策略。本步骤不需要添加策略。

2. 配置的凭证:在AWS中，创建相应的AWS IAM角色。使用Databricks API，调用Account API来创建使用IAM角色的ARN的凭据配置对象。角色策略可以为S3桶中的日志传递指定一个路径前缀。如果您希望为共享S3桶但使用不同路径前缀的不同工作区配置日志传递，则可以选择定义一个IAM角色以包含多个路径前缀。

3. 可选的跨帐户支持如果需要将日志发送到已创建的IAM角色帐户以外的AWS帐户，则需要添加S3桶策略。该策略引用您在上一步中创建的跨帐户IAM角色的id。

4. 调用日志传递API:调用Account API来创建日志传递配置，该配置使用前面步骤中的凭据和存储配置对象。此步骤允许您指定是否希望为帐户中的所有工作区(当前和未来的工作区)或特定的一组工作区关联日志传递配置。有关帐户级事件的列表，请参见审计事件．

完成这些步骤后，就可以访问JSON文件了。送货地点为:

桶-的名字>/<交付-路径-前缀>/workspaceId= <workspaceId>/日期= <yyyy-毫米-dd>/auditlogs_<内部-id>。json

如果为整个帐户配置审计日志传递，则未与任何单一工作空间相关联的帐户级审计事件将被传递到workspaceId = 0分区。

每隔几分钟就会交付新的JSON文件，可能会覆盖每个工作区的现有文件。当您最初设置审计日志传递时，可能需要一个小时才能开始日志传递。审计日志交付开始后，可审计事件通常在15分钟内被记录。额外的配置更改通常需要一个小时才能生效。

有关访问这些文件并使用Databricks分析它们的详细信息，请参见审计日志分析．

需求

• 帐户所有者(或帐户管理员，如果您在E2帐户)电邮地址及密码，以进行api认证。邮箱地址和密码均区分大小写。

• 帐户ID。对于E2版本平台上的帐户，请从bob体育客户端下载使用帐户控制台管理您的帐户对于非e2帐户，从您的帐户中获取帐户ID“使用概述”页签．如果找不到您的帐户ID，请联系您的Databricks代表。

如何验证api

本文中描述的api发布在accounts.cloud.www.neidfyre.com所有AWS区域部署的基本端点。

使用下面的API请求基URL:https://accounts.cloud.www.neidfyre.com/api/2.0/

这个REST API需要HTTP基本身份验证，这涉及到设置HTTP报头授权．在本文中，用户名指您的帐户所有者(如果您在E2帐户)电邮地址。邮件地址区分大小写。有几种方法可以向curl等工具提供凭据。

• 在每个请求的头中分别传递您的用户名和帐户密码<用户名>:<密码>语法。

  例如:

  curl -X GET -u｀<用户名>:<密码>｀- h“application / json内容类型:＼“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ <帐户id > / <端点>”

• 应用base64编码到您的<用户名>:<密码>字符串，并直接在HTTP头文件中提供它:

  curl -X GET -H“application / json内容类型:＼- h授权:Basic “https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ <帐户id > / <端点>”

• 创建一个. netrc文件,机，登录,密码属性:

  机器accounts.cloud.www.neidfyre.com登录<用户名>密码<密码>

  调用. netrc文件,使用- n在你的旋度命令:

  curl -n -X GET“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ <帐户id > /工作区”

  本文的示例使用这种身份验证样式。

有关完整的API参考，请参见帐户API 2.0．

步骤1:配置存储

Databricks将日志发送到您帐户中的S3桶。您可以配置多个工作空间来使用单个S3存储桶，也可以定义不同的工作空间(或工作空间组)来使用不同的存储桶。

此过程描述如何为帐户中的一个或多个工作区设置具有公共配置的单个配置对象。要为不同的工作空间使用不同的存储位置，请为每个工作空间或工作空间组重复本文中的过程。

1. 中的说明创建S3桶配置AWS存储．

   重要的

   若要将日志发送到Databricks工作空间以外的AWS帐户，必须添加S3桶策略。本步骤不需要添加桶策略。看到步骤3:可选的跨帐户支持．

2. 创建Databricks存储配置记录，表示新的S3桶。方法指定S3桶创建新的存储配置API（帖子/账户/ <帐户id > /存储配置)．

   通过以下内容:

   • storage_configuration_name:新的唯一存储配置名称。

   • root_bucket_info对象的JSON对象bucket_name字段，包含您的S3桶名。

   复制storage_configuration_id值在响应体中返回。您将在后面的步骤中使用它来创建日志传递配置。

   例如:

   curl -X POST -n＼“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /存储配置＼- d”{:“storage_configuration_name databricks-workspace-storageconf-v1”," root_bucket_info ": {:“bucket_name my-company-example-bucket”｝} '

   回应:

   ｛“storage_configuration_id”：“< databricks-storage-config-id >”，“account_id”：“< databricks-account-id >”，“root_bucket_info”：｛“bucket_name”：“my-company-example-bucket”}，“storage_configuration_name”：“databricks-workspace-storageconf-v1”，“creation_time”：1579754875555｝

步骤2:配置凭证

此过程描述如何为帐户中的一个或多个工作区设置具有公共配置的单个配置对象。要对不同的工作空间使用不同的凭据，请对每个工作空间或工作空间组重复本文中的过程。

1. 以具有管理员权限的用户登录AWS控制台，然后转到我服务。

2. 单击角色选项卡。

3. 点击创建角色．

   1. 在选择受信任实体类型,点击AWS服务．

   2. 在常用用例,点击EC2．

   3. 单击下一个:权限按钮。

   4. 单击下一个:标签按钮。

   5. 单击下一个:审查按钮。

   6. 在角色名字段，输入角色名。

      

   7. 点击创建角色．将显示角色列表。

4. 在角色列表中，单击已创建的角色。

5. 添加内联策略。

   1. 在“权限”页签中，单击添加内联策略．

      

   2. 在策略编辑器中，单击JSON选项卡。

      

   3. 复制此访问策略并修改它。请将策略中的以下值替换为自己的配置值:

      • < s3-bucket-name >: AWS S3桶的桶名。

      • < s3-bucket-path-prefix >:(可选)到S3桶中交付位置的路径。如果不指定，则将日志下发到桶的根目录。路径必须匹配delivery_path_prefix争论的时候调用日志传递API．

      ｛“版本”：“2012-10-17”，“声明”:【｛“效应”：“允许”，“行动”:【“s3: GetBucketLocation”),“资源”:【“攻击:aws: s3::: < s3-bucket-name >”］}，｛“效应”：“允许”，“行动”:【“s3: propertynames”，“s3: GetObject”，“s3: DeleteObject”，“s3: PutObjectAcl”，“s3: AbortMultipartUpload”),“资源”:【“攻击:aws: s3::: < s3-bucket-name > / < s3-bucket-path-prefix > /”，“攻击:aws: s3::: < s3-bucket-name > / < s3-bucket-path-prefix > / *”］}，｛“效应”：“允许”，“行动”:【“s3: ListBucket”，“s3: ListMultipartUploadParts”，“s3: ListBucketMultipartUploads”),“资源”：“攻击:aws: s3::: < s3-bucket-name >”，“条件”: {“StringLike”: {“s3:前缀”:【“< s3-bucket-path-prefix >”，“< s3-bucket-path-prefix > / *”］｝｝｝］｝

      用户可以自定义路径前缀的策略用法:

      • 如果不想使用桶路径前缀，请删除< s3-bucket-path-prefix > /(包括最后的斜杠)。

      • 如果需要为共享S3桶的不同工作区配置不同的日志传递配置，但使用不同的路径前缀，可以通过定义IAM角色来包含多个路径前缀。该策略有两个单独的引用部分< s3-bucket-path-prefix >．在每种情况下，复制引用路径前缀的两个相邻行。为每个新的路径前缀重复每对行，例如:

      ｛“资源”:【“攻击:aws: s3::: < mybucketname > /现场小组”，“攻击:aws: s3::: < mybucketname > /现场小组/ *”，“攻击:aws: s3::: < mybucketname > /财务团队/”，“攻击:aws: s3::: < mybucketname > /财务团队/ *”］｝

   4. 点击审查政策．

   5. 在的名字字段，输入策略名称。

   6. 点击创建政策．

   7. 如果你使用业务控制策略以拒绝AWS帐户级别的某些操作，确保sts: AssumeRole白名单，这样Databricks可以承担跨帐号角色。

6. 在角色摘要页面，单击信任关系选项卡。

7. 将该访问策略粘贴到编辑器中，并将策略中的以下值替换为您自己的配置值:

   < databricks-account-id >-您的Databricks帐户ID。

   ｛“版本”：“2012-10-17”，“声明”:【｛“效应”：“允许”，“校长”: {“AWS”：“攻击:aws:我::414351767826:角色/ SaasUsageDeliveryRole-prod-IAMRole-3PLHICCRR1TK”}，“行动”：“sts: AssumeRole”，“条件”: {“StringEquals”: {“sts: ExternalId”:【“< databricks-account-id >”］｝｝｝］｝

8. 在角色摘要中，复制的角色是并将其保存到后面的步骤。

   

9. 为您的AWS角色创建Databricks凭据配置ID。调用创建凭证配置API（帖子/账户/ <帐户id > /凭证)．此请求建立跨帐户信任，并返回一个引用ID，以便在创建新工作空间时使用。

   取代<帐户id >与您的Databricks帐户ID。在请求体中:

   • 集credentials_name到帐户中唯一的名称。

   • 集aws_credentials属性的对象sts_role财产。对象必须指定role_arn为你创建的角色。

   响应体将包括credentials_id字段，它是创建新工作空间所需的Databricks凭据配置ID。复制此字段，以便在后面的步骤中使用它创建日志传递配置。

   例如:

   curl -X POST -n＼“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /凭证”＼- d”{:“credentials_name databricks-credentials-v1”," aws_credentials ": {" sts_role ": {:“role_arn攻击:aws:我::< aws-account-id >: / my-company-example-role”角色｝｝} '

   示例响应:

   ｛“credentials_id”：“< databricks-credentials-id >”，“account_id”：“< databricks-account-id >”，“aws_credentials”：｛“sts_role”：｛“role_arn”：“攻击:aws:我::< aws-account-id >: / my-company-example-role”角色，“external_id”：“< databricks-account-id >”｝}，“credentials_name”：“databricks-credentials-v1”，“creation_time”：1579753556257｝

   复制credentials_id字段，以供以后使用。

步骤3:可选的跨帐户支持

如果您的S3桶与用于日志传递的IAM角色在同一个AWS帐户中，请跳过此步骤。

要将日志发送到Databricks工作空间以外的AWS帐户，必须添加此步骤中提供的S3桶策略。该策略引用您在上一步中创建的跨帐户IAM角色的id。

1. 在AWS控制台中，打开S3服务。

2. 单击桶名。

3. 单击权限选项卡。

4. 单击桶的政策按钮。

   

5. 复制并修改此桶策略。

   取代< s3-bucket-name >使用S3桶名。取代< customer-iam-role-id >使用您新创建的IAM角色的角色ID。取代< s3-bucket-path-prefix >使用您想要的桶路径前缀。有关自定义路径前缀的信息，请参阅策略示例后面的说明。

   ｛“版本”：“2012-10-17”，“声明”：［｛“效应”：“允许”，“校长”：｛“AWS”：［“攻击:aws:我::< customer-iam-role-id >”］}，“行动”：“s3: GetBucketLocation”，“资源”：“攻击:aws: s3::: < s3-bucket-name >”}，｛“效应”：“允许”，“校长”：｛“AWS”：“攻击:aws:我::< customer-iam-role-id >”}，“行动”：［“s3: propertynames”，“s3: GetObject”，“s3: DeleteObject”，“s3: PutObjectAcl”，“s3: AbortMultipartUpload”，“s3: ListMultipartUploadParts”),“资源”：［“攻击:aws: s3::: < s3-bucket-name > / < s3-bucket-path-prefix > /”，“攻击:aws: s3::: < s3-bucket-name > / < s3-bucket-path-prefix > / *”］}，｛“效应”：“允许”，“校长”：｛“AWS”：“攻击:aws:我::< customer-iam-role-id >”}，“行动”：“s3: ListBucket”，“资源”：“攻击:aws: s3::: < s3-bucket-name >”，“条件”：｛“StringLike”：｛“s3:前缀”：［“< s3-bucket-path-prefix >”，“< s3-bucket-path-prefix > / *”］｝｝｝］｝

   您可以自定义路径前缀的策略使用:

   • 如果不想使用桶路径前缀，请删除< s3-bucket-path-prefix > /(包括最后的斜杠)。

   • 如果需要多个工作区共享同一个S3桶，但使用不同的路径前缀进行日志传递配置，可以通过定义IAM角色来包含多个路径前缀。策略引用分为两部分< s3-bucket-path-prefix >．在每个地方，复制引用路径前缀的相邻两行。为每个新的路径前缀重复每对行。例如:

     ｛“资源”:【“攻击:aws: s3::: < mybucketname > /现场小组”，“攻击:aws: s3::: < mybucketname > /现场小组/ *”，“攻击:aws: s3::: < mybucketname > /财务团队/”，“攻击:aws: s3::: < mybucketname > /财务团队/ *”］｝

步骤4:调用日志传递API

要配置日志传递，请调用日志传递配置API（帖子/账户/ <帐户id > /日志交付)．

你需要以下你在前面步骤中复制的值:

• credentials_id:您的Databricks凭据配置ID，它表示您的跨帐户角色凭据。

• storage_configuration_id:您的Databricks存储配置ID，它表示您的根S3桶。

还要设置以下字段:

• log_type:始终设置为AUDIT_LOGS．

• output_format:始终设置为JSON．有关模式，请参见审计日志模式．

• delivery_path_prefix:(可选)设置为路径前缀。这必须与您在角色策略中使用的路径前缀匹配。交付路径为< bucket名> / < delivery-path-prefix > / workspaceId = < workspaceId > /日期= < yyyy-mm-dd > / auditlogs_ <内部id > . json．如果为整个帐户配置审计日志传递，则未与任何单一工作空间相关联的帐户级审计事件将被传递到workspaceId = 0分区。

• workspace_ids_filter:(可选)设置为需要发送日志的工作区id的数组。默认情况下，工作区筛选字段为空，并且日志传递应用于帐户级别，为帐户中的所有工作区传递工作区级别的日志，以及帐户级别的日志。您可以选择将此字段设置为工作区id的数组(每个字段都是一个int64)，日志传递应该应用到其中，在这种情况下，只有与指定的工作空间相关的工作空间级别的日志被传递。有关帐户级事件的列表，请参见审计事件．

  如果您计划为不同的工作空间使用不同的日志传递配置，请显式地设置此字段。请注意，提到特定工作区的交付配置将不会应用于将来创建的新工作区，并且交付将不包括帐户级别的日志。

  对于某些类型的Databricks部署，每个帐户ID只有一个工作空间，因此这个字段是不必要的。

例如:

curl -X POST -n＼“https://accounts.cloud.www.neidfyre.com/api/2.0/accounts/ < databricks-account-id > /日志交付”＼- d”{" log_delivery_configuration ": {:“log_type AUDIT_LOGS”,"config_name": "审计日志配置":“output_format JSON”,:“credentials_id < databricks-credentials-id >”,:“storage_configuration_id < databricks-storage-config-id >”,:“delivery_path_prefix auditlogs-data”,“workspace_ids_filter”:(6383650456894062,4102272838062927］｝} '

示例响应:

｛“log_delivery_configuration”：｛“config_id”：“< config-id >”，“config_name”：“审计日志配置”，“log_type”：“AUDIT_LOGS”，“output_format”：“JSON”，“account_id”：“<帐户id >”，“credentials_id”：“< databricks-credentials-id >”，“storage_configuration_id”：“< databricks-storage-config-id >”，“workspace_ids_filter”：［6383650456894062，4102272838062927),“delivery_path_prefix”：“auditlogs-data”，“状态”：“启用”，“creation_time”：1591638409000，“update_time”：1593108904000，“log_delivery_status”：｛“状态”：“创建”，“消息”：“日志下发配置”创建成功。状态将在第一次交付尝试后更新。”｝｝｝

审计事件注意事项

• 如果操作花费了很长时间，则请求和响应将单独记录，但请求和响应对具有相同的记录requestId．

  • 除mount相关操作外，Databricks审计日志中不包含dbfs相关操作。我们建议您在S3中设置服务器访问日志，它可以记录与IAM角色关联的对象级操作。如果您将IAM角色映射给Databricks用户，则您的Databricks用户将无法共享IAM角色。

  • 自动操作，例如由于自动伸缩而调整集群大小或由于调度而启动作业，由用户执行系统用户．

请求参数

字段中的请求参数requestParams对于每个受支持的服务和操作，将在以下部分中列出，并按工作空间级事件和帐户级事件进行分组。

的requestParams字段会被截断。如果其JSON表示的大小超过100 KB，值将被截断，字符串将被截断.．.截断附加到截断的项。在极少数情况下，截断的映射仍然大于100 KB，单个截断键的值为空。

工作空间级审计日志事件