问题
笔记本或作业执行停止并返回下列错误:
运行结果不可用:工作失败与错误消息上下文ExecutionContextId(1731742567765160237)断开连接。
不能把这个笔记本因为集群已达到连接笔记本的极限。分离一个笔记本并重试。
导致
当你把一个笔记本一个集群,砖创建一个执行上下文(AWS|Azure)。如果有太多的笔记本连接到集群或太多的创建工作,在某种程度上集群达到最大阈值限制为145执行上下文,和砖返回一个错误。
解决方案
配置上下文auto-eviction (AWS|Azure),它允许砖删除(驱逐)闲置的执行上下文。此外,从管道和ETL设计的角度来看,您可以避免这个问题通过使用:
- 更少的笔记本减少执行上下文创建的。
- 集群而不是一个交互式集群工作。如果用例允许,提交笔记本或jar文件的工作。