工作失败由于数据湖Azure存储(ADLS)创建的限制

学习做什么当你砖的工作失败由于数据湖Azure存储创建的限制。

写的亚当Pavlacka

去年发表在:2022年5月11日

问题

当您运行在Azure的工作涉及创建文件数据存储(ADLS)湖,Gen1或者代,发生以下异常:

引起的:java。IOException:创建失败与错误0 x83090c25(文件和文件夹被创建的速度过高)。[745 c5836 - 264 - e - 470 - c - 9人私下偷偷收藏盒式c605f1c100f5]失败与错误0 x83090c25(文件和文件夹被创建的速度过高)。(2019 - 04 - 12 - t10:06:43.1117197 07:00] [ServerRequestId: 745 c5836 - 264 - e - 470 - c - 9人私下偷偷收藏盒式c605f1c100f5]在com.microsoft.azure.datalake.store.ADLStoreClient.getRemoteException (ADLStoreClient.java: 1191) com.microsoft.azure.datalake.store.ADLStoreClient.getExceptionFromResponse (ADLStoreClient.java: 1154) com.microsoft.azure.datalake.store.ADLStoreClient.createFile (ADLStoreClient.java: 281) com.databricks.adl.AdlFileSystem.create (AdlFileSystem.java: 348) com.databricks.spark.metrics.FileSystemWithMetrics.create (FileSystemWithMetrics.scala: 280) com.databricks.backend.daemon.data.client.DatabricksFileSystemV2 anonfun创造1美元美元美元anonfun应用10美元anonfun申请美元11.美元申请(DatabricksFileSystemV2.scala: 483)

导致

每个ADLS订阅级别的数量有一个限制的文件可以创建单位的时候,虽然限制可能有所不同取决于您使用的是ADLS Gen1或者代。超过限制时,文件创建压制,工作失败。

对这个错误潜在原因包括:

  • 您的应用程序创建大量小文件。
  • 外部应用程序创建大量的文件。
  • 当前限制订阅太低了。

解决方案

如果您的应用程序或外部应用程序生成大量的文件,那么您需要优化应用程序。如果限制当前订阅不适合您的用例,然后联系微软Azure团队寻求帮助。

这篇文章有用吗?