当访问ADLS长工作失败

长时间运行的工作使用Azure广告凭据透传访问ADLS失败后1小时。

写的huaming.liu

去年发表在:2022年12月9日

问题

您正在使用Azure Active Directory (Azure广告)凭证透传Azure数据存储(ADLS)湖资源的访问。

工作运行失败,超过一个小时HTTP401错误消息。

com.microsoft.azure.datalake.store。ADLException:错误读取文件/地方/用户/ < path-to-file >操作打开失败HTTP401:空最后遇到异常抛出后5尝试。[HTTP401 (null), HTTP401 (null), HTTP401 (null), HTTP401 (null), HTTP401(空)

导致

Azure广告透传的一生令牌是一个小时。当一个命令被发送到集群,花费的时间超过一个小时,不能如果ADLS马克一小时后访问资源。

这是一个已知的问题。

解决方案

你必须重写查询,所以没有一个命令花费的时间超过一个小时才能完成。

的一生是不可能增加Azure广告透传牌。检索到的令牌是由Azure砖复制的本金。你不能编辑其属性。

请检查ADLS凭据透传的局限性文档的更多信息。

这篇文章有用吗?