在机器学习Python命令失败集群

Python命令失败砖运行时对机器学习的集群。Conda。

写的arjun.kaimaparambilrajan

去年发表在:2022年5月16日

问题

您使用的是砖集群运行时对机器学习和Python的笔记本是失败的。

你找到一个无效的语法错误日志中。

SyntaxError:无效语法文件“/ local_disk0 / tmp / 1593092990800 - 0 / PythonShell。py”,第363行def __init__(自我,* args, condaMagicHandler = None, * * kwargs):

导致

的键值/etc/environment /文件被覆盖用户环境变量。

有几个默认的环境变量,不应该被覆盖。

例如,MLFLOW_CONDA_HOME = /砖/ conda默认设置。如果你覆盖这个值就会导致无效的语法错误。

这个示例init脚本会引起问题,因为它是取代,而不是添加一个值。

% python dbutils.fs.put(" /砖/ init脚本/ set-env。sh”、“”“# !/bin/bash sudo回声VAR1 = " VAL1 " > /etc/environment sudo回声VAR2 = " VAL2 " > /etc/environment sudo回声VAR3 = " VAL3 " > /etc/environment”“”,真的)

解决方案

你不应该覆盖的任何值/etc/environment /文件。

你应该总是附加变量/etc/environment /文件。

这个示例init脚本可以避免这个问题通过添加每一个价值/etc/environment /文件。

% python dbutils.fs.put(" /砖/ init脚本/ set-env。sh”、“”“# !/bin/bash sudo回声VAR1 = " VAL1 " > > /etc/environment sudo回声VAR2 = " VAL2 " > > /etc/environment sudo回声VAR3 = " VAL3 " > > /etc/environment”“”,真的)


这篇文章有用吗?