问题

s3从本地文件系统复制大文件到DBFS时,可出现下列例外:

亚马逊.S3.AmazonS3Exceptive:

因果

区段计数为S3限值部件文件数从1到10000并含

求解

为了避免出现此异常,增加每个部件文件的大小

1. 设置集群内下列属性spark配置:

   spark.hadoop.fs.s3a.multipart.size 104857600

2. 重开集群