集群

Databricks集群是一组计算资源和配置,您可以在其上运行数据工程、数据科学和数据分析工作负载,例如生产ETL管道、流分析、特别分析和机器学习。

类中的一组命令运行这些工作负载笔记本或者作为一个自动化的工作.Databricks做了区分通用的集群而且工作的集群.您可以使用通用集群使用交互式笔记本协作分析数据。您可以使用作业集群来运行快速而健壮的自动化作业。

  • 您可以创建通用的集群使用UI、CLI或REST API。您可以手动终止和重启通用集群。多个用户可以共享这样的集群进行协作交互分析。

  • Databricks作业调度器创建作业集群当你运行工作在一个新的作业集群并在作业完成时终止集群。你不能重新启动作业集群。

本节介绍如何使用用户界面处理集群。其他方法请参见集群CLI而且集群API 2.0

本节还更多地关注通用集群,而不是作业集群,尽管所描述的许多配置和管理工具同样适用于这两种类型的集群。要了解BOB低频彩有关创建作业集群的详细信息,请参见创建、运行和管理Databricks作业

重要的

Databricks保留在过去30天内终止的最多200个通用集群和最近由作业调度器终止的最多30个作业集群的集群配置信息。保持一个通用的集群配置,即使它已经终止超过30天,管理员可以集群列表中的一个集群。