管理集群
本文描述如何管理数据砖集群,包括显示、编辑、启动、终止、删除、控制访问和监控性能和日志。
计算在侧边栏。销一个集群
集群是终止后30天,永久删除。后保持一个通用的集群配置集群终止超过30天,管理员可以销集群。100集群可以固定。
管理员可以销一个集群的集群列表或集群详细信息页面通过点击销图标。
你也可以调用集群API端点以编程方式销集群。
查看集群配置作为JSON文件
有时它可以帮助查看您的集群配置为JSON。这是特别有用,当你想创建类似的集群使用集群API。当你把现有的集群,去配置选项卡上,单击JSON在右上角的选项卡中,复制JSON,粘贴到你的API调用。JSON的观点是只读的。
编辑一个集群
您可以编辑UI集群的集群配置细节。你也可以调用集群API端点编辑集群以编程方式。
请注意
笔记本和工作在集群保持连接后编辑。
库安装在集群编辑后继续安装。
如果您的编辑任何属性运行集群(集群的规模和权限除外),您必须重新启动它。这可以破坏用户目前使用集群。
你只能编辑运行或终止集群。但是,您可以更新权限为集群,并不在这些州,在集群上的细节页面。
控制访问集群
集群内的访问控制管理员设置页面允许工作区集群管理员给细粒度访问其他用户。有两种类型的集群访问控制:
创建集群许可:工作区管理员可以选择允许哪些用户创建集群。
集群级别权限:用户可以管理允许一个集群可以配置是否可以连接到其他用户,重启,调整和管理集群。
为一个集群编辑权限,选择编辑权限从集群的
烤肉串菜单。
更多关于集群和集群级别权限访问控制,明白了集群访问控制。
终止一个集群
保存集群资源,你可以终止一个集群。终止集群的配置存储,以便它可以重用(或者,在工作的情况下,自动启动在稍后的时间。您可以手动终止集群或配置集群在一个指定的静止期自动终止。当终止集群的数量超过150,最古老的集群被删除。
除非一个集群固定或者重新启动,它将自动终止后30天,永久删除。
终止集群出现在集群列表在左边的灰色圆集群名称。
自动终止
您还可以设置自动终止一个集群。在创建集群的过程中,你可以在几分钟内指定一个静止期之后,你想要终止的集群。
如果当前时间和最后一个命令的区别在集群上运行超过指定的静止期,砖自动终止集群。
集群被认为是不活跃的,当所有命令的集群,包括火花工作,结构化流,和JDBC调用,执行完成。
警告
集群不活动造成DStreams的使用报告。这意味着一个auto-terminating集群可能DStreams运行时终止。关掉自动终止为集群运行DStreams或考虑使用结构化的流。
自动终止功能显示器只有火花工作,而不是用户定义的局部流程。因此,如果所有火花工作已经完成了,一个集群可以终止,即使局部流程正在运行。
闲置集群持续积累DBU和云实例指控不活动期间在终止之前。
删除一个集群
删除一个集群终止集群并删除它的配置。删除一个集群,选择删除从集群的菜单。
警告
你不能取消这个行动。
删除一个固定的集群,它首先必须由管理员拔掉。
你也可以调用集群API端点以编程方式删除一个集群。
重新启动集群
你可以重启之前终止集群的集群列表中,集群细节页面,或一个笔记本。你也可以调用集群API端点开始集群以编程方式。
砖使用其独特标识一个集群集群ID。当你开始终止集群时,砖重新创建集群与相同的ID,自动安装的所有库,重新接上笔记本。
笔记本的例子:找到长期运行的集群
如果你是一个工作空间管理,您可以运行一个脚本,它决定了您的每个集群已经运行多长时间,和可选,重启他们是否超过指定数量的天。砖提供这个脚本作为一个笔记本。
请注意
如果你的工作空间的一部分集群的公共预览自动更新,你可能不需要这个脚本。集群自动重新启动期间如果需要预定的维护窗口。
脚本的第一行定义配置参数:
min_age_output:一个集群的最大天数可以运行。默认值为1。perform_restart:如果真正的随着年龄的增长,脚本重新启动集群大于规定的天数min_age_output。默认值是假确定了长期运行的集群,但不重新启动它们。secret_configuration:替换REPLACE_WITH_SCOPE和REPLACE_WITH_KEY与一个秘密范围和关键的名字。设置秘密的更多细节,请参阅笔记本。
警告
如果你设置perform_restart来真正的,脚本自动重启合格的集群,它可以导致积极的工作失败,重新打开笔记本。减少的风险,扰乱你的工作空间的关键业务工作,计划一个预定的维护窗口,一定要通知用户工作区。
集群自动启动工作和JDBC / ODBC查询
当一个作业分配给集群将终止运行,或者你连接到一个终止集群从JDBC / ODBC接口,自动重新启动集群。看到创建一个工作和JDBC连接。
集群自动启动允许您配置集群auto-terminate无需人工干预重新启动集群调度工作。此外,你可以通过调度时间表集群的初始化工作终止集群上运行。
请注意
如果您的集群成立于砖平台版本2.70或更早,没有自动启动:工作计划终止集群上运行就会bob体育客户端下载失败。
查看集群日志
砖提供三种日志相关的活动:
集群事件日志,捕捉集群生命周期事件像创建、终止和配置编辑。
Apache火花司机和工人日志,您可以用于调试。
集群的初始化脚本日志,这对于调试init脚本是有价值的。
本节讨论集群事件日志和司机和工人日志。初始化脚本日志的详细信息,请参阅Init脚本日志。
集群事件日志
集群事件日志显示重要的集群生命周期事件由用户操作手动或自动触发的砖。此类事件影响整个集群的操作和运行在集群的工作。
所支持的事件类型,请参阅集群API数据结构。
事件存储60天,这是与其他数据保留时间在砖。
集群的司机和工人日志
从你的笔记本电脑直接打印和日志语句,工作,和图书馆去引发司机日志。您可以访问这些日志文件的司机日志选项卡在集群上的细节页面。点击下载日志文件的名称。
这些日志有三个输出:
标准输出
标准错误
Log4j日志
查看火花工作日志,使用火花UI选项卡。你也可以配置日志交付地点集群。工人和集群日志都是送到您所指定的位置。
监视性能
你也可以安装Datadog代理集群节点上发送Datadog度量Datadog账户。
