创建一个集群

访问集群创建接口

使用用户界面创建一个集群,您必须在数据科学与工程或机器学习persona-based环境。如果你没有,你可以使用角色切换器。

然后你可以:

• 点击计算在侧边栏创建计算在计算页面。

• 点击新>集群在侧边栏。

集群政策

集群政策是一组规则用于限制用户可用的配置选项时创建一个集群。集群政策acl控制特定的用户和组可以访问某些政策。

默认情况下,所有用户都可以访问个人计算* * * *政策,让他们轻松地创建单机计算资源。如果你看不到个人计算政策作为一个选项创建一个集群时,那么你还没有得到政策。请联系您的系统管理员请求访问个人计算政策或一个适当的政策。

显示配置集群政策,选择一个集群的政策政策下拉。

集群访问模式是什么?

的访问模式下拉已经取代了安全模式下拉。访问模式标准如下:

砖的运行时版本的

砖运行时核心组件的集合上运行您的集群。所有砖运行时版本包括Apache火花和添加组件和更新,提高可用性、性能和安全性。有关详细信息,请参见砖运行时。

砖提供了几种类型的运行时和几个版本的运行时类型。您选择了集群的运行时使用砖的运行时版本的下拉当您创建或编辑一个集群。

集群节点类型

一个集群由一个驱动节点和零个或多个工作节点。你可以选择单独的云提供商为司机和工人节点实例类型,尽管默认情况下司机节点使用相同的实例类型工作节点。不同家庭的实例类型适合不同的用例,如内存密集型或计算密集型工作负载。

集群规模和自动定量

当你创建一个砖集群,可以为集群提供一个固定数量的工人或提供的最小和最大数量的工人集群。

当你提供固定大小的集群,砖确保集群有指定数量的工人。当你为工人的数量,提供一系列砖选择适当数量的工人需要运行你的工作。这被称为自动定量。

与自动定量、动态砖是重新分配人员占你的工作的特点。某些部位的管道可能比其他人更计算要求,和砖自动添加额外的工人在这阶段的工作(并删除他们当他们不再需要)。

自动定量使它更容易实现集群利用率高,因为你不需要提供集群匹配工作负载。这尤其适用于负载的需求随时间变化(如每天探索过程中数据集),但它也能适用于一次性短工作负载的配置需求是未知的。自动定量因此提供了两个优点:

• 工作负载可以运行得更快而constant-sized under-provisioned集群。

• 自动定量集群静态大小的集群相比可以降低整体成本。

根据集群的常数大小和工作负载,自动定量给你其中的一个或两个同时受益。集群规模可以低于最小数量的工人时选择的云提供商终止实例。在这种情况下,砖不断重试重新供应实例为了维持最低的工人数量。

自动定量本地存储

如果你不想分配一个固定数量的EBS卷在创建集群时,使用自动定量本地存储。自动定量本地存储,数据砖监视器上可用的空闲磁盘空间集群的火花的工人。如果一个工人开始在磁盘上运行过低,砖自动高度新EBS卷的工人之前耗尽磁盘空间。EBS卷附加到一个极限5 TB的总磁盘空间的每个实例(包括实例的本地存储)。

配置自动定量储存、选择启用自动定量本地存储。

EBS卷附加到一个实例只分离时返回给AWS实例。EBS卷,永远不会脱离只要是一个实例运行集群的一部分。缩减EBS用法,砖建议使用这个特性在集群配置AWS引力子实例类型或自动终止。

本地磁盘加密

一些实例类型用于在本地运行集群可能附加的磁盘。砖可能洗牌数据或临时数据存储在这些本地连接的磁盘。确保所有的数据是加密的存储类型,包括改组数据暂时存储在集群的本地磁盘,您可以启用本地磁盘加密。

当启用本地磁盘加密时,砖在本地生成一个加密密钥是独一无二的每个集群节点,并用于加密所有数据存储在本地磁盘。关键是当地的范围到每个集群节点集群节点本身和被摧毁。在其一生中,加密和解密的关键驻留在内存中,加密存储在磁盘上。

启用本地磁盘加密,你必须使用集群API 2.0。在集群创建或编辑设置:

{“enable_local_disk_encryption”:真正的}

看到创建和编辑在集群API参考如何调用这些API的例子。

下面是一个示例集群的创建,使本地磁盘加密:

{“cluster_name”:“my-cluster”,“spark_version”:“7.3.x-scala2.12”,“node_type_id”:“r3.xlarge”,“enable_local_disk_encryption”:真正的,“spark_conf”:{“spark.speculation”:真正的},“num_workers”:25}

AWS的配置

当您配置一个集群的AWS实例可以选择可用性区域,马克斯现货价格,EBS卷类型。这些设置下高级选项切换的实例选项卡。