最佳实践:集群政策

预览

这个特性是在公共预览。

砖集群政策提供管理员控制创建集群的资源在一个砖工作区。有效利用集群政策允许管理员:

执行标准化的集群配置。
防止过度使用资源和控制支出。
确保准确退款通过正确标记集群。
便于分析和处理,为用户提供预配置的集群配置针对特定工作负载。

介绍集群政策和配置建议,把砖集群政策的视频:

结合有效的新员工培训、批准和退款流程,集群政策可能是一个基本组件在砖平台的治理。bob体育客户端下载本指南提供了建议和最佳实践来帮助您创建一个成功的计划将集群政策集成到您的治理框架。

因为治理是独一无二的每个组织的需求和现有治理基础设施,本文首先覆盖,通常适用于集群的政策建议。本文的最后部分讨论了特定的策略来解决挑战你可能会看到在您的环境中。

本文讨论以下最佳实践和建议,以确保一个成功的集群治理推出:

创建一个计划引入集群政策阶段来帮助用户管理过渡到一个环境。
创建一个沟通计划更改为每个阶段的集群政策推出。
确定集群治理的挑战和实现策略来应对这些挑战。

集群政策推出

实施集群政策可以呈现出显著变化的用户体验。砖建议分阶段方法来帮助指导用户完成的转变:

即将到来的变化,并提供用户交流的机会测试集群配置。
执行一个柔软的推出。
不断的引入进一步的政策变化。
执行一个很难完全治理环境的转换。

分阶段推出允许用户熟悉新政策,防止中断现有的工作负载。下图是这种推荐过程的一个例子:

以下部分提供更详细的信息在这些阶段:

通信和测试集群政策

开始交流的过程对用户即将到来的变化。沟通计划应该包括:

细节的变化。
为什么这些变化正在发生。
用户需要做些什么来确保成功过渡的工作负载。
如何提供反馈修改。
的每个阶段推出时间表。
在每个阶段的逐步推广,进一步的细节沟通相关的阶段。

下图提供了一个示例沟通计划分阶段推出:

你的计划可能会根据您的环境和集群不同阶段的政策策略。这个例子包括四个阶段:

第一阶段包括沟通计划用户和测试的开始。用户必须有机会测试他们当前和预期的工作负载集群,符合新政策。你想要及早发现任何问题与现有和计划工作负载。
第二阶段继续测试以及集群标签政策的推出。
第三阶段引入了集群类型,在本例中指定集群使用t恤尺寸,例如,小,大,或超大集群类型。
第四阶段是最后的集群政策的推出和完整的用户文档。

用户也应该有机会测试他们的工作负载集群配置计划的初始阶段。这种测试可以帮助识别现有工作负载的运行问题提出政策。

考虑引入集群政策

在规划时考虑你当前的管理政策的初始部署集群政策。特别是,考虑是否你从一个环境中,用户从创建集群或限制一个更加开放的环境。

严格的环境

在一个环境中,用户没有权限创建集群,首先推出限制性政策以及为用户实施计划。实施计划可能是基于计算机的培训、研讨会或文档。为用户提供指导配置集群的最佳实践将改善他们充分利用平台的能力。bob体育客户端下载政策可以轻松为用户演示合规和能力的平台。bob体育客户端下载

不受限制的环境

运用政策可以在一个不受限制的环境更具挑战性。一些现有的用例和集群将几乎总是超出新政策的约束,所以识别这些测试或软推广阶段是至关重要的。

集群创建权限或访问用户提供无限制的政策将维持他们的访问整个软推出这个政策,确保所有工作负载继续函数。用户应使用软推出来测试他们所有的工作负载的新政策将可用。

一定要给用户一个地方提交反馈有关政策。与用户合作,完善政策或定义新的政策出现问题时。

最后推出

删除访问不受限制的政策限制用户截止日期。集群政策的推出现在应该完成了。

具体挑战与策略

下面是应用集群政策应对特定挑战的例子。这些策略可以使用同时但需要应用程序的每个策略在所有政策。例如,如果使用标签执行战略和t恤的大小,每个t恤政策还需要一个custom_tag。*政策。

标签执行

挑战

用户可以自由创建集群,没有机制来执行,他们应用所需的标记。

解决方案

撤销集群创建权限从用户。
添加一个集群标记规则的任何适用的集群政策。添加集群标签规则政策,使用custom_tags。<标记名称>属性。一个下的值可以是任何东西无限的政策,也可以是受限制的固定,允许列表,块列表,正则表达式,或范围政策。例如,以确保正确的退款和成本归因,执行COST_CENTER标签在每个政策限制的列表允许成本中心值:
```
{“custom_tags.COST_CENTER”:{“类型”:“allowlist”,“价值观”:【“9999”,“9921”,“9531”]}}
```
任何用户使用该策略必须填写COST_CENTER标签与9999、9921或9531的集群启动。
集群政策分配给用户应该能够指控这三个成本中心。政策可以通过指定一个用户或组水平集群政策UI或者是补丁/权限/ cluster-policies / {cluster_policy_id}端点。下面的示例请求主体分配销售部门的政策:
```
{“access_control_list”:({“user_name”:“user@mydomain.com”,“all_permissions”:({“permission_level”:“CAN_USE”}]},{“group_name”:“销售”,“all_permissions”:({“permission_level”:“CAN_USE”}]}]}
```

没有经验的用户

挑战

用户不熟悉集群或云基础设施供应或不知所措集群创建选项。

解决方案

使用集群政策来定义“t恤”大小的集群配置,例如,小,中型或大型集群。

创建一个策略对于每一个t恤的大小。t恤集群政策表示一个相对大小的用户,可以灵活的模板或零选项配置。零政策往往会选择或低选项固定和隐藏的策略规则。下面的例子定义了一个政策DBR 7.3的固定值spark_version。设置隐藏的国旗为真时将确保这个选项对用户来说是不可见的。
```
{“spark_version”:{“类型”:“固定”,“价值”:“7.3.x-scala2.12”,“隐藏”:真正的}}
```
当定义灵活的模板,您可以使用范围,块列表,块列表,正则表达式,无限的政策政策制定上边界,可选的字段和semi-restricted策略元素。下面的例子定义了一个政策,允许自动定量节点最多25。您可以使用这个定义每个t恤上边界大小,同时提供一些灵活性。看到更多的细节,一个集群模板方法,明白了过度的资源使用情况。
```
{“autoscale.max_workers”:{“类型”:“范围”,“执行”:“25”,“defaultValue”:5}}
```
分配政策应该允许用户创建的t恤的集群。政策可以被指定在一个用户或组级别通过集群政策UI API或集群政策权限。例如,将这一政策分配给所有用户通过UI:
1. 集群政策和选择编辑。
2. 选择权限选项卡。
3. 选择所有用户选择下组下拉。
撤销访问组的不受限制的政策,必须使用这些新政策。一旦使用的集群政策,获得“集群创建”权限给用户访问不受限制的政策。撤销这允许用户很重要,不应该。
撤销集群创建权限,明白了配置集群创建权限。

用例具体政策

挑战

一些工作负载或分析不符合现行政策,或用户不知道正确的集群配置对某些工作负载类型。

解决方案

如果你觉得工作不好的工作负载与现有政策,通常是更好的创建新的政策专门针对这些工作负载,而不是扩大现有的政策。

帮助用户创建集群使用这些策略,它能帮助创建策略针对特定的用例。描述性名称分配给这些政策来帮助用户识别它们。例如,如果工作负载将查询数据源支持谓词下推,一个最佳实践是建立一个特定的政策,执行自动定量较低或零工人最低。这一政策将确保云提供商和砖的成本不不必要的增长在等待数据源来计算查询的下推组件。

创建一个策略,强制使用特定的最佳实践。这个例子定义了一个政策,有一个固定的值0最小数量的工人。这一政策同时执行,集群将自动定量,满足谓词下推的例子的最佳实践。
```
{“autoscale.min_workers”:{“类型”:“固定”,“价值”:“0”,“隐藏”:假}}
```
分配政策以用户需要为这些用例构建集群。你可以在用户或组分配政策的水平集群政策UI或者是权限API 2.0。例如,分配这一政策通过UI数据科学家小组:
1. 集群政策和选择编辑。
2. 选择权限选项卡。
3. 分配政策到一个特定的团队,选择团队的名字选择用户或组下拉。

过度的资源使用情况

挑战

用户创建不必要的大型集群,消费过度和昂贵的资源。这通常是由于:

未能激活自动定量。
不正确的使用汽车终端窗口。
高最低工人节点计数。
昂贵的实例类型。

解决方案

集群政策搭配内部审批流程将使控制资源,必要时还提供大型计算资源。

建立一个审查过程授予访问更大或更灵活的政策。评审过程应该摄入形式,收集信息,支持更大或更灵活的集群配置的必要性。平台所有bob体育客户端下载权团队应该评估这些信息来决定如何支持工作负载需求。下图展示了一个例子使用t恤分级审批流程:
创造更灵活的用更少的约束和政策关注控制治理标签之类的东西。一个灵活的政策的例子:
这一政策提供了灵活性,允许一个用户:
- 选择从一系列实例类型除了一些过于昂贵。
- 集群配置100个节点。
- 设置一个自动终止了120分钟。
它也合理的限度,确保地方治理:
- 这个团队执行一个标签。
- 需要自动定量。
- 使弹性磁盘自动定量。
- 指定一个砖运行时版本。
这一政策非常适合更有经验的用户需要在不同的集群配置和调整他们的工作是一个很好的例子,一个政策与审批过程。
文档升级和审批流程,与用户分享。也有助于发布指导识别类型的工作负载,可能需要更大的灵活性或更大的集群。
一旦批准了一个用户,分配政策。政策可以在用户或组分配的水平集群政策UI或提交一个请求权限API 2.0:
```
{“access_control_list”:{“user_name”:“users_email@yourdomain.com”,“permission_level”:“CAN_USE”}}
```

BOB低频彩

了解更BOB低频彩多关于集群政策在砖上,看到的管理集群政策和我们的博客集群政策:允许简单的集群创建完整的管理控制使用集群政策。