介绍

根据您的用例中,您可能想要使用这两个码头工人(DCS)和容器服务砖回购(AWS|Azure|GCP)在同一时间。DCS不使用默认砖回购的,但是您可以使用一个定制的init脚本使用。

如果您还没有安装一个init脚本配置DCS与砖回购您可能会看到一条错误消息当你试图启动集群。这种情况当底层文件系统访问。

您可能会看到下面的错误而使用回购没有init脚本:

py4j。Python Py4JException:异常长大的代理。返回消息:回溯(最近的电话最后):文件“/砖/火花/ python / lib / py4j-0.10.9-src.zip / py4j / java_gateway。py”, 2442行,在_call_proxy return_value = getattr(自我。池(obj_id)方法)(* params)文件“/ /砖/ python_shell /脚本PythonShellImpl.py“935行,initStartingDirectory os.chdir(目录)FileNotFoundError: [Errno 2]没有这样的文件或目录:' / Workspace /回购/ <用户名> / hello_world '

指令

您可以使用本文中的示例init脚本DCS与砖回购。

这保证了init脚本goofy-dbr过程是正确地运行,确保文件系统仍然可访问。的goofy-dbr过程是一个砖内部的叉高飞。砖的goofy-dbr增加了对Azure的支持数据存储(ADLS)和Azure Blob存储湖高飞,以及确保高飞可以运行在砖集群。

创建初始化脚本

1. 使用工作区文件浏览器创建一个新文件(AWS|Azure|GCP在您的主目录。叫它repos.sh。
2. 打开repos.sh文件。
3. 复制和粘贴这个init脚本repos.sh。

   # !/bin/bash设置- o xtrace源/砖/ / conf /火花spark-env.sh出口WSFS_ENABLE_DEBUG_LOG mkdir - p /工作区mkdir - p /砖/数据/日志/ nohup /砖/火花/脚本/ fuse / wsf / Workspace > / logs / wsf /砖/数据。日志2 > & 1 & WAIT_TIMEOUT = 5 CHECK_INTERVAL = 0.1 WAIT_UNTIL = $(((日期+ % s) + WAIT_TIMEOUT美元)),直到挂载点q /工作区| |[[(日期+ % s)通用电气WAIT_UNTIL美元]];睡眠CHECK_INTERVAL美元做了mkdir - p / dbfs nohup /砖/火花/脚本/ fuse / goofys-dbr - f - o allow_other \——文件模式= 0777 dir-mode = 0777 - o bg - 120年代http超时\ /:/ dbfs > /砖/数据/日志/ dbfs_fuse_stderr 2 > & 1 & WAIT_UNTIL = $(((日期+ % s) + WAIT_TIMEOUT美元)),直到挂载点q / dbfs | |[[(日期+ % s)通用电气WAIT_UNTIL美元]];睡眠CHECK_INTERVAL美元做什么

4. 关闭该文件。

配置初始化脚本

按照文档配置一个集群级init脚本(AWS|Azure|GCP)作为一个工作区文件。

指定init脚本的路径。自您创建repos.sh在您的主目录,路径应该是什么样的/用户/ <用户名> / repos.sh。

在配置init脚本之后,重新启动集群。