单节点集群
单个节点集群是集群组成的一个Apache火花司机和工人无火花。单个节点的集群支持所有火花引发就业和数据源,包括三角洲湖。标准集群至少需要一个运行火花引发工人工作。
单节点集群有利于:
单节点机器学习工作负载,使用火花来加载和存储数据
轻量级的探索性数据分析
创建一个单独的节点集群
创建一个节点集群,选择单独的节点按钮,当你配置一个集群。
单节点集群属性
单个节点集群具有以下属性:
在本地运行的火花。
司机作为主人和工人,没有工人的节点。
产生一个执行人线程/逻辑集群中的核心,- 1为驱动核心。
所有
stderr,stdout,log4j日志输出保存在司机日志。单个节点集群不能转化为一个多节点集群。
限制
大规模数据处理集群将排在单个节点上的资源。对于这些工作负载,砖建议使用一个多节点集群。
单节点集群不是共享而设计的。为了避免资源冲突,砖建议使用一个多节点集群,集群必须共享。
一个多节点集群不能放大到0的工人。使用单个节点集群。
单节点集群不兼容处理隔离。
GPU调度不是单一节点上启用集群。
在单节点集群,火花不能读取铺文件UDT列。以下错误消息的结果:
意外引发司机已经停止并重新启动。你的笔记本将会自动重新连接。为了解决这个问题,禁用本地拼花读者:
火花。相依。集(“spark.databricks.io.parquet.nativeReader.enabled”,假)
REST API
你可以使用集群API创建一个单独的节点集群。
单节点集群政策
请注意
集群政策是不可用的砖在谷歌的云上。
集群政策简化为单节点集群配置集群。
考虑的例子数据科学团队成员没有权限创建集群。工作区管理可以创建一个集群政策授权团队成员创建一个单独的节点集群的最大数量,使用池和集群政策:
创建一个游泳池:
集最大容量来
10。在自动驾驶仪的选择,使自动定量支持本地存储。
集实例类型来单节点集群。
选择一个砖版本。砖建议使用最新版本,如果可能的话。
点击创建。
池的属性页面出现。记下池ID和实例的ID类型页面创建池。
创建一个集群政策:
设置ID和实例池类型从池中ID属性从池中。
指定约束根据需要。
给予团队成员的集群政策。您可以使用管理用户、服务主体和组织简化用户管理。