问题

您正在使用Azure数据存储(ADLS)代湖。当你试图访问一个Azure Blob集群文件系统(沛富)路径从一个砖,命令挂起。

启用调试日志,你可以看到以下的堆栈跟踪司机日志:

引起的:java。IOException:服务器返回的HTTP响应代码:400为URL: https://login.microsoftonline.com/b9b831a9 - 6 - c10 - 40 - bf - 86 - f3 - 489 - ed83c81e8/oauth2/token sun.net.www.protocol.http.HttpURLConnection.getInputStream0 (HttpURLConnection.java: 1894) sun.net.www.protocol.http.HttpURLConnection.access 200美元(HttpURLConnection.java: 91) sun.net.www.protocol.http.HttpURLConnection sun.net.www.protocol.http.HttpURLConnection运行(HttpURLConnection.java: 1484) 9.美元9.美元(java.security.AccessController HttpURLConnection.java: 1482)运行。doPrivileged(本机方法)java.security.AccessController.doPrivilegedWithCombiner (AccessController.java: 782) sun.net.www.protocol.http.HttpURLConnection.getInputStream (HttpURLConnection.java: 1481) java.net.HttpURLConnection.getResponseCode (HttpURLConnection.java: 480) sun.net.www.protocol.https.HttpsURLConnectionImpl.getResponseCode (HttpsURLConnectionImpl.java: 347) shaded.databricks.v20180920_b33d810.org.apache.hadoop.fs.azurebfs.oauth2.AzureADAuthenticator.getTokenSingleCall (AzureADAuthenticator.java: 254)…31日更

导致

如果沛富集群配置在与一个错误的值属性fs.azure.account.oauth2.client.id,或如果你试图访问一个显式的形式abfss: / / myContainer@myStorageAccount.dfs.core.windows.net/..。在哪里myStorageAccount不存在,那么沛富司机最终在重试循环和变得反应迟钝。命令将最终失败,而是因为它重试很多次,它似乎是一个挂着命令。

如果你试图访问一个不正确的路径与现有存储帐户,您将看到一个404错误消息。在这种情况下系统并不挂。

解决方案

你必须验证所有凭证访问沛富时数据的准确性。您还必须验证沛富路径你试图访问的存在。如果这些都是不正确的,这个问题发生。