SSH到集群驱动节点

如何SSH Apache火花集群驱动节点在Azure虚拟网络吗

写的xin.wang

去年发表在:2023年3月15日

这篇文章解释了如何使用SSH连接到一个Apache火花司机节点为先进的故障诊断和安装定制软件。

删除

警告

你只能使用SSH如果工作区是部署在一个Azure虚拟网络(联接)在你的控制之下的。如果您的工作区不是VNet注入SSH选项不会出现。此外,NPIP工作区不支持SSH。

配置一个Azure网络安全组

与你相关的网络安全组联接必须允许SSH流量。SSH的默认端口是2200。如果你使用一个自定义的端口,您应注意到它在继续之前。你也必须识别流量来源。这可能是一个单一的IP地址,也可以是一个IP范围代表整个办公室。

  1. 在Azure门户,找到网络安全组。网络安全组名可以在公众的子网。
  2. 编辑入站安全规则允许连接SSH端口。在这个例子中,我们使用默认端口。
删除

信息

确保你的电脑和办公防火墙规则允许你发送TCP流量端口使用SSH。如果SSH端口阻塞在办公室电脑或防火墙,你不能通过SSH连接到Azure联接。

生成SSH密钥对

  1. 打开一个本地终端。
  2. 通过运行这个命令创建一个SSH密钥对:
    ssh - keygen rsa - t - b 4096 - c
删除

信息

您必须提供目录的路径你想保存的公钥和私钥。扩展.pub公钥保存。

与你的公钥配置一个新的集群

  1. 复制整个公钥文件的内容。
  2. 打开集群配置页面。
  3. 点击高级选项。
  4. 单击SSH选项卡。
  5. 将公钥的整个内容粘贴到公钥字段。
  6. 继续正常集群配置。

现有的集群配置您的公钥

如果你有一个现有的集群和集群创建期间没有提供的公钥,可以注入一个笔记本的公钥。

  1. 打开任何笔记本连接到集群。
  2. 将下面的代码复制到笔记本、更新与您的公钥指出:
    % scala val publicKey = " <这里把你的公钥>“def addAuthorizedPublicKey(关键:字符串):单位= {val fw =新java.io.FileWriter (“/ home / ubuntu /。ssh / authorized_keys”, / *添加* /真正的弗兰克-威廉姆斯。写(“\ n”+键)fw.close ()} addAuthorizedPublicKey (publicKey)
  3. 运行代码块将公钥。

SSH到火花司机

  1. 打开集群配置页面。
  2. 点击高级选项。
  3. 单击SSH选项卡。
  4. 注意驱动主机名。
  5. 打开一个本地终端。
  6. 运行以下命令,取代了主机名和私钥文件路径:
    ssh ubuntu@ <主机名> 2200 - p - i < private-key-file-path >


这篇文章有用吗?