数据库笔记本执行上下文

当您将一个笔记本附加到集群时,Databricks将创建一个执行上下文。一个执行上下文属性的状态REPL支持Python、R、Scala和SQL等编程语言。当您在笔记本中运行单元格时,该命令被分派到适当的语言REPL环境并运行。

你也可以使用1.2 API创建执行上下文并发送要在执行上下文中运行的命令。类似地,该命令被分派到语言REPL环境并运行。

一个集群有一个最大的执行上下文数量(145)。一旦执行上下文的数量达到这个阈值,您就不能将notebook附加到集群或创建新的执行上下文。

空闲执行上下文

考虑执行上下文闲置当上次完成的执行超过设置的空闲阈值时。最后一次完成执行是笔记本最后一次完成命令执行。空闲阈值是在最后一次完成执行和尝试自动分离笔记本之间必须经过的时间量。默认空闲阈值为24小时。

当集群达到最大上下文限制时,Databricks根据需要删除(驱逐)空闲执行上下文(从最近使用最少的上下文开始)。即使删除了上下文,使用上下文的笔记本也会被删除仍然附加到集群,并出现在集群的笔记本列表中.流笔记本被认为是正在积极运行的,它们的上下文直到停止执行才会被清除。如果空闲上下文被清除,UI将显示一条消息,指示使用该上下文的笔记本由于空闲而被分离。

删除笔记本上下文

如果您试图将一个笔记本附加到具有最大执行上下文数量的集群,并且没有空闲上下文(或者如果自动移除被禁用),那么UI将显示一条消息,表示已达到当前最大执行上下文阈值,并且笔记本将保持分离状态。

笔记本分离

如果您fork一个进程,一旦fork该进程的请求执行返回,空闲的执行上下文仍然被认为是空闲的。fork单独的进程不推荐与火花。

配置上下文自动移除

默认启用自动清除功能。若要禁用集群的自动移除,请设置火花财产spark.databricks.chauffeur.enableIdleContextTracking

确定Spark和Databricks Runtime版本

要确定您的笔记本连接到的集群的Spark版本,请运行:

火花版本

要确定笔记本连接到的集群的Databricks运行时版本,请运行:

火花相依得到“spark.databricks.clusterUsageTags.sparkVersion”

请注意

这两sparkVersion标签和spark_version属性中端点所需的集群API 2.0而且职位API 2.1请参阅Databricks运行时版本号而不是Spark版本。