如果你想分析节点之间的网络流量在一个特定的集群,您可以在集群上安装tcpdump和用它来pcap文件转储网络包的细节。pcap文件可以下载到本地机器上进行分析。
创建tcpdump init脚本
运行这个示例脚本在一个笔记本在集群上创建init脚本。
% python dbutils.fs.put (“dbfs: /砖/ < path-to-init-script > / tcp_dump。sh”、“‘# !/bin/bash DB_CLUSTER_ID = $ (echo $主机名| awk - f”——“‘{打印1美元”——“2”,“3美元}”)如果[[!- d / dbfs /砖/ tcpdump / $ {DB_CLUSTER_ID}]];然后sudo mkdir - p / dbfs /砖/ tcpdump / $ {DB_CLUSTER_ID} fi BASEDIR = " / dbfs /砖/ tcpdump / $ {DB_CLUSTER_ID} " mkdir - p $ {BASEDIR} MYIP = $ (ip路由得到10 | awk{打印NF美元;退出})回声”启动tcpdump“sudo tcpdump - w Y_ % m_ $ {BASEDIR} / trace_ % % d_ % H_ % % S_ m_ $ {MYIP}。pcap - w 1000 - g 1800 - c 200 &回声”,真正的“启动tcpdump”))记得init脚本的路径。你需要它在配置集群。
配置初始化脚本
按照文档来配置一个集群级init脚本(AWS|Azure|GCP)。
指定init脚本的路径。使用相同的路径,你使用的示例脚本(dbfs: / /砖/ < path-to-init-script > / tcp_dump.sh)
在配置init脚本之后,重新启动集群。
定位pcap文件
一旦集群已经开始,它将自动启动创建pcap文件包含记录的网络信息。
pcap文件位于文件夹dbfs: / /砖/ tcpdump / $ {< cluster-id >}。
下载pcap文件
下载pcap文件下载到本地主机进行分析。