没有覆盖的标准方法log4j配置和自定义配置集群。你必须重写配置文件使用init脚本。
当前配置存储在两个log4j . properties文件:
- 司机:
% sh猫/home/ubuntu/databricks/spark/dbconf/log4j/driver/log4j.properties
- 工人:
% sh猫/home/ubuntu/databricks/spark/dbconf/log4j/executor/log4j.properties
登录设置职业专用司机或工人,使用下面的脚本:
% sh # !/bin/bash回声”DB_IS_DRIVER美元上执行司机:“如果[[$ DB_IS_DRIVER = " TRUE "]];然后LOG4J_PATH = " / home / ubuntu /砖/火花/ dbconf / log4j /司机/ log4j。其他属性”LOG4J_PATH = " / home / ubuntu /砖/火花/ dbconf / log4j /执行人/ log4j。“fi回声”调整log4j属性。属性:$ {LOG4J_PATH}“回声”log4j。< custom-prop > = <价值> " > > $ {LOG4J_PATH}
取代< custom-prop >属性名,<值>属性值。
上传的脚本DBFS和UI选择集群使用集群配置。
你也可以设置log4j . properties司机以同样的方式。