Databricks Runtime 9.0(不支持)

以下版本说明提供了Databricks Runtime 9.0和Databricks Runtime 9.0 Photon的相关信息,由Apache Spark 3.1.2提供支持。Databricks于2021年8月发布了这些图像。光子是在公共预览

修正

这些发布说明的前一个版本错误地指出Apache Parquet依赖项已从1.10升级到1.12。事实上,Parquet依赖关系仍然保留在1.10版本。错误的发布说明已被删除。

新功能和改进

用于数据集汇总统计的新API(公开预览)

dbutils.data.summarize命令允许您启动一个Spark作业,自动计算Spark DataFrame列的汇总统计信息,然后交互式地显示结果。该函数在Scala和Python中可用。看到数据工具(dbutls . Data)

更容易配置Azure Synapse连接器的外部数据源

externalDataSource选项中的在Azure Synapse Analytics中查询数据connector允许您使用预先配置的外部数据源从Azure Synapse数据库中读取数据。的externalDataSource选项消除了对控制事先需要许可。

当设置externalDataSource、外部数据源和tempDir用于配置临时存储的选项必须引用存储帐户中的相同容器。

可以选择将会话限制为Amazon Redshift连接器的指定持续时间

fs.s3a.assumed.role.session.duration选项中的用Databricks查询亚马逊红移connector允许您在Redshift以假定角色访问临时S3桶时可选地设置会话的持续时间。

自动加载程序

优化的文件列表

当列出云存储(包括AWS S3、Azure数据湖存储Gen2 (ADLS Gen2)和谷歌云存储(GCS)中的嵌套目录时,自动加载器优化提供了性能改进和成本节约。

例如,如果文件被上传为/一些/道路/ / MM / DD / YYYY HH /文件名,为了找到这些目录中的所有文件,Auto Loader使用并行列出所有子目录,导致365(每天)* 24(每小时)= 8760 LIST API目录调用底层存储为每个年目录。通过接收来自这些存储系统的扁平响应,Auto Loader将API调用的数量减少到存储系统中的文件数量除以每个API调用返回的结果数量(S3为1000,ADLS Gen2为5000,GCS为1024),极大地降低了您的云成本。

优化图像数据存储

Auto Loader现在可以自动检测正在摄取的图像数据,并优化其在Delta表中的存储,以提高读写性能。看到摄取图像或二进制数据到Delta Lake进行ML

二进制文件的图像缩略图(公开预览)

图片binaryFile使用Auto Loader加载或保存为Delta表的格式带有注释,以便在Databricks笔记本中显示表时显示图像缩略图。有关更多信息,请参见图片

DirectoryRename事件允许对多个文件进行原子处理

在Azure Data Lake Storage Gen2上Databricks Runtime 9.0及以上版本中创建的自动加载器流设置了文件事件通知,包括目录重命名和监听RenameDirectory事件。您可以使用目录重命名使多个文件自动加载自动显示。

SQL

中排除列选择(公共预览版)

选择现在支持除了关键字,它允许您从展开中排除指定的顶级列。例如,选择除了(b)资源描述从具有模式的表中(一个b,c)扩大到(一个c)

SQL标量函数(公开预览)

创建函数现在支持SQL标量函数。可以创建接受一组参数并返回单个标量类型值的标量函数。SQL函数体可以是任何表达式。例如:

创建函数广场x返回返回xx选择广场2);

详细信息请参见创建函数

中引用前面的别名和列子查询(公开预览)

中的子查询子句之前现在可以加上横向关键字,允许它们引用前面的别名和列物品。例如:

选择t1横向选择t2在哪里t1c1t2c1

横向关键词支持内心的交叉,(外部)加入

看到参数而且参数

R的支持

笔记本范围的R库(公开预览)

笔记本范围的库允许您安装库并创建笔记本会话范围的环境。这些库不会影响在同一集群上运行的其他笔记本电脑。这些库在驱动程序和工作节点上都可用,因此您可以在用户定义的函数中引用它们。看到笔记本范围的R库

R笔记本中的警告消息

的默认值警告选项现在设置为1在R笔记本。因此,所有警告现在都作为命令结果的一部分公开。了解更BOB低频彩多关于警告选项,看到选项设置

通过为结构化流有状态处理指定初始状态来避免重做

您现在可以为结构化流有状态处理指定用户定义的初始状态(平)MapGroupsWithState操作符。

看到为mapGroupsWithState指定初始状态

Delta MERGE INTO命令的低洗牌实现现在可用(公共预览)

δ合并命令有一个新的实现,可以减少未修改的行变换。这提高了命令的性能,并有助于在表上保留现有的集群,例如z顺序。要启用低洗牌合并,请设置spark.databricks.delta.merge.enableLowShuffle真正的.看到低shuffle合并数据

错误修复

  • 您不能再通过创建同名的视图来覆盖视图。

库升级

  • 升级的Python库:

    • 证书有效期为2021.5.30至2020.12.5

    • Chardet从3.0.4到4.0.0

    • Cython从0.29.21到0.29.23

    • 从4.4.2到5.0.6的装饰器

    • Ipython从7.19.0到7.22.0

    • Joblib从0.17.0到1.0.1

    • Jupyter-client从6.1.7到6.1.12

    • Jupyter-core从4.6.3到4.7.1

    • 从1.3.0到1.3.1

    • Matplotlib从3.2.2到3.4.2

    • 熊猫从1.1.5到1.2.4

    • PIP从20.2.4降至21.0.1

    • 从3.0.8到3.0.17的提示工具箱

    • Protobuf从3.17.3到3.17.2

    • Ptyprocess从0.6.0到0.7.0

    • Pyarrow从1.0.1到4.0.0

    • 从2.7.2到2.8.1的pyages

    • Pyzmq从19.0.2到20.0.0

    • 从2.24.0到2.24.1的请求

    • S3transfer从0.3.6到0.3.7

    • Scikit-learn从0.23.2到0.24.1

    • Scipy从1.5.2到1.6.2

    • 海运从0.10.0到0.11.1

    • Setuptools从50.3.1到52.0.0

    • statmodel从0.12.0到0.12.2

    • 龙卷风从6.0.4到6.1

    • Virtualenv从20.2.1到20.4.1

    • 从0.35.1转到0.36.2

  • 升级的R库:

    • 矩阵从1.3-3到1.3-4

Apache火花

Databricks Runtime 9.0包含Apache Spark 3.1.2。此版本包括所有Spark修复和改进Databricks Runtime 8.4(不支持),以及以下对Spark的额外错误修复和改进:

  • (火花- 35886)[SQL][3.1] PromotePrecision should not overwrite genCodePromotePrecision should not overwrite genCode

  • (火花- 35879)[CORE][SHUFFLE]修复collectFetchRequests导致的性能下降问题

  • (火花- 35817)[SQL][3.1]恢复宽Avro表的查询性能

  • (火花- 35841)[SQL]将字符串转换为十进制类型不工作,如果…

  • (火花- 35783)[SQL]在任务配置中设置读列列表,减少ORC数据的读取

  • (火花- 35576)[SQL][3.1]编辑Set命令结果中的敏感信息

  • (火花- 35449)[SQL][3.1]如果设置了elseValue,则只从CaseWhen值中提取常用表达式

  • (火花- 35288)[SQL] StaticInvoke应该找到没有精确参数类匹配的方法

  • (火花- 34794)[SQL]修复嵌套DataFrame函数中的lambda变量名称问题

  • (火花- 35278)[SQL]调用应该找到具有正确参数数量的方法

  • (火花- 35226)在JDBC数据源中支持refreshKrb5Config选项

  • (火花- 35244)Invoke应该抛出原始异常

  • (火花- 35213)[SQL]用field操作保持嵌套结构的正确顺序

  • (火花- 35087)[UI] stage- details页面的aggregmetrics by Executor表中的某些列显示错误。

  • (火花- 35168)[SQL] map .reduce.tasks应该shuffle。coalescepartitions . initialpartitionnum

  • (火花- 35127)[UI]当我们在不同的舞台细节页面之间切换时,新打开的页面中的条目可能是空白的

  • (火花- 35142)修复错误的返回类型rawPredictionUDFOneVsRestModel

  • (火花- 35096)[SQL] schemaprunning应该遵循spark.sql.caseSensitive配置

  • (火花- 34639)[SQL] [3.1] RelationalGroupedDataset。alias不应该创建UnresolvedAlias

  • (火花- 35080)[SQL]当子查询聚合时,只允许相关相等谓词的一个子集

  • (火花- 35117)更改进度条以突出显示正在进行的任务的比例

  • (火花- 35136)删除LiveStage.info的初始空值

  • (火花- 34834)修复TransportResponseHandler中潜在的Netty内存泄漏

  • (火花- 35045)[SQL]添加一个内部选项以univocity控制输入缓冲区

  • (火花- 35014)修复PhysicalAggregation模式以不重写可折叠表达式

  • (火花- 35019)[PYTHON][SQL]修复pyspark.sql.*中的类型提示不匹配问题

  • (火花- 34926)[SQL][3.1] PartitioningUtils.getPathFragment()应该尊重分区值为空

  • (火花- 34630)为pyspark添加typehint。版本

  • (火花- 34963)[SQL]修复了从数组中提取不区分大小写的struct字段时嵌套列修剪的问题

  • (火花- 34988)[CORE][3.1]升级CVE-2021-28165的Jetty

  • (火花- 34922)[SQL][3.1]在CBO中使用相对成本比较函数

  • (火花- 34970)[SQL][SECURITY][3.1]修改explain()输出中的map类型选项

  • (火花- 34923)[SQL]对于更多的计划,元数据输出应该为空

  • (火花- 34949)[CORE]当Executor关闭时,阻止BlockManager重新注册

  • (火花- 34939)当无法反序列化广播映射状态时抛出获取失败异常

  • (火花- 34909)[SQL]修复了conv()中将负转换为unsigned的问题

  • (火花- 34845)ProcfsMetricsGetter不应该返回部分procfs度量

  • (火花- 34814)[SQL] LikeSimplification应该处理NULL

  • (火花- 34876)[SQL]填充非空聚合的defaultResult

  • (火花- 34829)修正高阶函数结果

  • (火花- 34840)[SHUFFLE]修复合并SHUFFLE中的腐败案例…

  • (火花- 34833)为相关子查询正确应用右填充

  • (火花- 34630)[PYTHON][SQL]为pyspark.sql.Column.contains添加了typehint

  • (火花- 34763)[SQL] col(), $ " "和df(" name ")应该正确处理带引号的列名

  • (火花- 33482)(火花- 34756)[SQL]修复FileScan相等性检查

  • (火花- 34790)[CORE]启用io加密时,不允许批量抓取shuffle块

  • (火花- 34803)[PYSPARK]如果熊猫或pyarrow导入失败,通过提升的ImportError

  • (火花- 34225)当一个URI表单字符串被传递给addFile或addJar时,不要进一步编码

  • (火花- 34811)[核心]修订fs.s3a.access。密钥就像秘密和标记

  • (火花- 34796)[SQL][3.1]在doProduce()中初始化LIMIT code-gen的计数器变量

  • (火花- 34128)[SQL]抑制THRIFT-4805中不需要的TTransportException警告

  • (火花- 34776)嵌套列修剪不应该修剪窗口产生的属性

  • (火花- 34087)[3.1][SQL]修复ExecutionListenerBus内存泄漏

  • (火花- 34772)[SQL] RebaseDateTime loadrebaserecds应该使用Spark类加载器而不是上下文

  • (火花- 34719)[SQL][3.1]正确解析有重复列名的视图查询

  • (火花- 34766)[SQL][3.1]不捕获视图的maven配置

  • (火花- 34731)在编辑EventLoggingListener中的属性时避免ConcurrentModificationException

  • (火花- 34737)[SQL][3.1]转换输入浮点数为double inTIMESTAMP_SECONDS

  • (火花- 34749)[SQL][3.1]简化ResolveCreateNamedStruct

  • (火花- 34768)[SQL]尊重Univocity中的默认输入缓冲区大小

  • (火花- 34770)[SQL] InMemoryCatalog。如果数据库不存在,tableExists应该不会失败

  • (火花- 34504)[SQL]避免不必要地解析DDL命令的SQL临时视图

  • (火花- 34727)[SQL]修复浮动转换为时间戳的差异

  • (火花- 34723)[SQL]在全阶段下消除子表达式的正确参数类型

  • (火花- 34724)[SQL]修复用getMethod代替getDeclaredMethod来解释计算的问题

  • (火花- 34713)[SQL]通过CreateStruct和ExtractValue修复组

  • (火花- 34697)[SQL]允许描述函数和显示函数解释||(字符串连接运算符)

  • (火花- 34682)使用PrivateMethodTester代替反射

  • (火花- 34682)[SQL]修复CustomShuffleReaderExec中规范化错误检查中的回归

  • (火花- 34681)[SQL]修复了在不相等条件下构建左侧时完全外部洗牌哈希连接的错误

  • (火花- 34545)[SQL]修复软锰矿的valueCompare特性问题

  • (火花- 34607)[SQL] [3.1]Utils.isMemberClass修复jdk8u上格式错误的类名错误

  • (火花- 34596)[SQL]使用Utils。getSimpleName以避免在NewInstance.doGenCode中命中畸形的类名

  • (火花- 34613)[SQL]修复视图不捕获禁用提示配置

  • (火花- 32924)[web]在主界面中将持续时间列按正确顺序排序

  • (火花- 34482)修正streamexecute . logicalplan的活动SparkSession

  • (火花- 34567)[SQL] CreateTableAsSelect也应该更新度量

  • (火花- 34599)[SQL]修复了INSERT INTO OVERWRITE不支持DSv2包含dot的分区列的问题

  • (火花- 34577)的数据集添加/删除列的问题描述名称空间

  • (火花- 34584)[SQL]静态分区在插入到v2表时也应该遵循StoreAssignmentPolicy

  • (火花- 34555)从DataFrame中解析元数据输出

  • (火花- 34534)修复了使用FetchShuffleBlocks获取block时的blockIds顺序

  • (火花- 34547)[SQL]最后才使用元数据列进行解析

  • (火花- 34417)[SQL] org.apache.spark.sql.DataFrameNaFunctions.fillMap因列名带有点号而失败

  • (火花- 34561)[SQL]修复了从/到v2数据集删除/添加列的问题描述表格

  • (火花- 34556)[SQL]检查重复的静态分区列应该尊重区分大小写的conf

  • (火花- 34392)[SQL] DateTimeUtils支持ZoneOffset +h:mm。getZoneId

  • (火花- 34550)[SQL]在推送过滤器到Hive metastore时跳过InSet null值

  • (火花- 34543)[SQL]尊重spark.sql.caseSensitive在解决v1中的分区规范时进行配置位置

  • (火花- 34436)[SQL] DPP支持LIKE任何/所有表达式

  • (火花- 34531)删除PrometheusServlet中的Experimental API标签

  • (火花- 34497)[SQL]修复内置JDBC连接提供程序以恢复JVM安全上下文更改

  • (火花- 34515)[SQL]修复getPartitionsByFilter过程中InSet包含空值的NPE问题

  • (火花- 34490)如果视图引用了一个被删除的表,分析将失败

  • (火花- 34473)在dataframerader .schema(StructType)中避免NPE

  • (火花- 34384)为ResourceProfile api添加缺少的文档

  • (火花- 34373)[SQL] HiveThriftServer2 startWithContext可能挂起一个种族问题

  • (火花- 20977)为CollectionAccumulator的状态使用一个非final字段

  • (火花- 34421)[SQL]通过cte解析视图中的临时函数和视图

  • (火花- 34431)[核心]只加载hive-site.xml一次

  • (火花- 34405)修复PrometheusServlet类中timersLabels的平均值

  • (火花- 33438)用定义好的SQL conf初始化对象- v

  • (火花- 34158)pom.xml中唯一开发人员Matei的url不正确

  • (火花- 34346)[CORE][SQL][3.1] spark.buffer.size设置的io.file.buffer.size会被加载hive-site.xml时意外覆盖,可能会导致性能回归

  • (火花- 34359)[SQL][3.1]添加一个旧配置以恢复SHOW DATABASES的输出模式

  • (火花- 34331)[SQL]加速DS v2元数据col解析

  • (火花- 34318)数据集[SQL][3.1]。colRegex应该与包含换行符的列名和限定符一起工作

  • (火花- 34326)[CORE][SQL]修复SPARK-31793中根据临时路径长度添加ut的问题

  • (火花- 34319)[SQL]解析FlatMapCoGroupsInPandas/MapInPandas的重复属性

  • (火花- 34310)[CORE][SQL]用flatMap替换map和flatten

  • (火花- 34083)[SQL][3.1]使用TPCDS原始定义的char/varchar列

  • (火花- 34233)[SQL][3.1]修复二进制比较中char填充的NPE

  • (火花- 34270)[SS] Combine StateStoreMetrics不应该覆盖StateStoreCustomMetric

  • (火花- 34144)[SQL]试图将LocalDate和Instant值写入JDBC关系时抛出的异常

  • (火花- 34273)当SparkContext停止时,不重新注册BlockManager

  • (火花- 34262)[SQL][3.1]刷新v1表的缓存数据改变表格..位置

  • (火花- 34275)[CORE][SQL][MLLIB]用count替换过滤器和大小

  • (火花- 34260)[SQL]修复两次创建临时视图时出现UnresolvedException的问题

  • (火花- 33867)生成SQL查询时不处理Instant和LocalDate值

  • (火花- 34193)[核心]TorrentBroadcast块管理器退役比赛修复

  • (火花- 34221)[web]确保在UI页面的某个阶段失败时,能够正确显示相应的错误信息

  • (火花- 34236)[SQL]修复v2 Overwrite w/ null静态分区raise不能将表达式转换为源过滤器:null

  • (火花- 34212)修正从Parquet文件中读取错误的十进制

  • (火花- 34244)[SQL]删除Scala函数regexp_extract_all版本

  • (火花- 34235)将spark.sql.hive作为一个私有包

  • (火花- 34232)在日志中编辑SparkListenerEnvironmentUpdate事件

  • (火花- 34229)[SQL] Avro应该用文件模式读取十进制值

  • (火花- 34223)[SQL]修复insertintohadoopfsrelationship命令中静态分区为空的NPE

  • (火花- 34192)[SQL]移动字符填充到写侧,并删除长度检查在读侧

  • (火花- 34203)[SQL]转换将值分区到__HIVE_DEFAULT_PARTITION__在v1内存中目录

  • (火花- 33726)[SQL]修复聚合过程中字段名重复的问题

  • (火花- 34133)[AVRO]在执行Catalyst-to-Avro场匹配时,尊重大小写敏感性

  • (火花- 34187)[SS]在检查偏移量验证时,使用轮询期间获得的可用偏移量范围

  • (火花- 34052)[SQL][3.1]存储SQL文本创建的临时视图使用“CACHE TABLE ..”作为选择……”

  • (火花- 34213)[SQL]刷新v1表的缓存数据负载数据

  • (火花- 34191)[PYTHON][SQL]为udf重载添加类型

  • (火花- 34200)不明确的列引用应该考虑属性可用性

  • (火花- 33813)[SQL][3.1]修复JDBC源代码不能处理MS SQL Server的空间类型的问题

  • (火花- 34178)复制multiinstancerrelationship . newinstance创建的新节点的标签

  • (火花- 34005)[CORE][3.1]更新任务端每个Executor的峰值内存指标

  • (火花- 34115)[CORE]检查SPARK_TESTING为lazy val以避免减速

  • (火花- 34153)[SQL][3.1][3.0]删除未使用的getRawTable ()HiveExternalCatalog.alterPartitions ()

  • (火花- 34130)使用StaticInvoke改进char varchar填充和长度检查的preformace

  • (火花- 34027)[SQL][3.1]刷新缓存改变表格..恢复分区

  • (火花- 34151)[SQL]替换java.io.File.toURLjava.io.File.toURI.toURL

  • (火花- 34140)[SQL][3.1] Move QueryCompilationErrors。Scala到org/apache/spark/sql/errors

  • (火花- 34080)[ML][PYTHON]添加UnivariateFeatureSelector

  • (火花- 33790)[CORE][3.1]减少SingleFileEventLogFileReader中getFileStatus的rpc调用

  • (火花- 34118)[CORE][SQL][3.1]用exists或forall替换过滤和检查空

  • (火花- 34114)[SQL]不应该对读侧字符长度检查和填充进行右修剪

  • (火花- 34086)[SQL][3.1] RaiseError生成过多的代码,可能会导致codegen在char varchar长度检查中失败

  • (火花- 34075)[SQL][CORE]正在列出用于分区推断的隐藏目录

  • (火花- 34076)[SQL] SQLContext。如果缓存非空,dropTempTable失败

  • (火花- 34084)[SQL][3.1]修复了在改变表格..添加分区

  • (火花- 34090)缓存HadoopDelegationTokenManager。用于KafkaTokenUtil.needTokenUpdate的isServiceEnabled结果

  • (火花- 34069)Kill barrier任务应该尊重SPARK_JOB_INTERRUPT_ON_CANCEL

  • (火花- 34091)[SQL] Shuffle批量获取应该能够禁用后,它被启用

  • (火花- 34059)[SQL][CORE][3.1]使用for/foreach而不是map来确保快速执行

  • (火花- 34002)[SQL]修复ScalaUDF中编码器的使用

  • (火花- 34060)[SQL][3.1]修复Hive表在更新数据时缓存的问题改变表格..下降分区

  • (火花- 31952)修正聚合时不正确的内存溢出度量

  • (火花- 33591)[SQL][3.1]识别在分区规格值中

  • (火花- 34055)[SQL][3.1]刷新缓存改变表格..添加分区

  • (火花- 34039)[SQL][3.1] ReplaceTable应该使缓存无效

  • (火花- 34003)[SQL]修复PaddingAndLengthCheckForCharVarchar和ResolveAggregateFunctions规则冲突

  • (火花- 33938)[SQL][3.1]通过LikeSimplification进行Like Any/All优化

  • (火花- 34021)[R]修复SparkR文档中CRAN提交的超链接

  • (火花- 34011)[SQL][3.1][3.0]刷新缓存改变表格..重命名分区

  • (火花- 33948)[SQL]修复MapObjects CodeGen错误。doGenCode方法

  • (火花- 33635)调整KafkaTokenUtil中的检查顺序。needTokenUpdate来补救性能回归

  • (火花- 33029)[CORE][web]修复UI executor页面错误地将驱动程序标记为排除

  • (火花- 34015)[R]修正gapply的输入时间

  • (火花- 34012)[SQL] conf . conf . conf . conf . conf . conf . conf . confspark.sql.legacy.parser.havingWithoutGroupByAsWhere迁徙指南是真的吗

  • (火花- 33844)[SQL][3.1] InsertIntoHiveDir命令也应该检查col名称

  • (火花- 33935)[SQL]修复CBO代价函数

  • (火花- 33100)在spark-sql中忽略括号注释中的分号

  • (火花- 34000)[CORE]修复stageAttemptToNumSpeculativeTasks java.util.NoSuchElementException

  • (火花- 33992)[SQL]重写transformUpWithNewOutput添加allowInvokingTransformsInAnalyzer

  • (火花- 33894)[SQL]改变mllib中私有case类的可见性,以避免Scala 2.13的运行时编译错误

  • (火花- 33950)[SQL][3.1][3.0]在v1中刷新缓存改变表格..下降分区

  • (火花- 33980)[SS]使spark.readStream.schema中的char/varchar无效

  • (火花- 33945)[SQL][3.1]处理由expr树组成的随机种子

  • (火花- 33398)修复了Spark 3.0之前的加载树模型

  • (火花- 33963)[SQL]规范化HiveTableRelationW /o表统计信息

  • (火花- 33906)修复UI Executor页面由于未定义的peakMemoryMetrics卡住的错误

  • (火花- 33944)[SQL] SharedState选项中的仓库密钥记录错误

  • (火花- 33936)[SQL][3.1]添加连接器接口时的版本

  • (火花- 33916)修正回退存储偏移,提高压缩编解码器测试覆盖率

  • (火花- 33899)[SQL][3.1]修复v1 SHOW TABLES/VIEWS assert失败的问题spark_catalog

  • (火花- 33901)[SQL]修复了DDLs后Char和Varchar显示错误

  • (火花- 33897)[SQL]不能在连接方法中设置选项“交叉”

  • (火花- 33907)[SQL][3.1]如果解析选项为空,只删除JsonToStructs的列

  • (火花- 33621)(火花- 33784)[SQL][3.1]增加了一种注入数据源重写规则的方法

  • (火花- 33900)[web]当只有remotebytesread可用时,shuffle读大小/记录正确显示

  • (火花- 33892)[SQL]在DESC和SHOW CREATE TABLE中显示char/varchar

  • (火花- 33895)[SQL]在ThriftServer的元操作中Char和Varchar失败

  • (火花- 33659)记录DataStreamWriter的当前行为。toTable API

  • (火花- 33893)从executorList中排除回退块管理器

  • (火花- 33277)[PYSPARK][SQL]使用ContextAwareIterator在任务结束后停止消费

  • (火花- 33889)[SQL][3.1]修复NPE from显示分区在V2表上

  • (火花- 33879)[SQL] Char Varchar值失败w/ match错误作为分区列

  • (火花- 33877)[SQL] INSERT的SQL引用文档

  • (火花- 33876)[SQL]增加了从外部位置的表中读取char/varchar的长度检查

  • (火花- 33846)[SQL]包含structtype . todl中嵌套模式的注释

  • (火花- 33860)[SQL] Make CatalystTypeConverters。convertToCatalyst匹配特殊数组值

  • (火花- 33834)用Char和Varchar验证ALTER TABLE CHANGE COLUMN

  • (火花- 33853)[SQL] EXPLAIN CODEGEN和BenchmarkQueryTest不显示子查询代码

  • (火花- 33836)[SS][PYTHON]暴露DataStreamReader。和DataStreamWriter.toTable

  • (火花- 33829)[SQL][3.1]重命名v2表将重新创建缓存

  • (火花- 33756)[SQL]使BytesToBytesMap的MapIterator为幂等

  • (火花- 33850)如果启用了AQE, EXPLAIN格式化不会显示子查询的计划

  • (火花- 33841)[CORE][3.1]修复了高负载下SHS任务间歇性消失的问题

  • (火花- 33593)[SQL]向量阅读器得到了错误的数据与二进制分区值

  • (火花- 26341)[web]在Stages选项卡中,在阶段级别公开执行程序内存指标

  • (火花- 33831)[UI]更新到jetty 9.4.34

  • (火花- 33822)[SQL]使用CastSupport.cast方法。

  • (火花- 33774)[UI][CORE] Back to Master "在独立集群中返回500个错误

  • (火花- 26199)(火花- 31517)[R]修正了处理…名字突变的策略

  • (火花- 33819)[CORE][3.1] SingleFileEventLogFileReader/RollingEventLogFilesFileReader私人

  • (火花- 33697)[SQL] RemoveRedundantProjects默认需要列排序

  • (火花- 33752)[SQL][3.1]避免AnalysisException的getSimpleMessage重复添加分号

  • (火花- 33788)[SQL][3.1][3.0][2.4]抛出NoSuchPartitionsException from HiveExternalCatalog.dropPartitions()

  • (火花- 33803)[SQL]在DESCRIBE table命令中按键排序表属性

  • (火花- 33786)[SQL]当表名被改变时,缓存的存储级别应该被尊重

  • (火花- 33273)[SQL]修复子查询执行中的竞态条件

  • (火花- 33653)[SQL][3.1] DSv2: REFRESH TABLE应该重新缓存表本身

  • (火花- 33777)[SQL] V2 SHOW PARTITIONS的排序输出

  • (火花- 33733)PullOutNondeterministic应该检查和收集确定性字段

  • (火花- 33764)[SS]将状态存储维护间隔设置为SQL配置

  • (火花- 33729)[SQL]刷新缓存时,Spark在恢复数据时不使用缓存计划

  • (火花- 33742)[SQL][3.1] Throw PartitionsAlreadyExistException from HiveExternalCatalog.createPartitions()

  • (火花- 33706)在partitionExists()中需要完全指定的分区标识符

  • (火花- 33740)hive-site.xml中的hadoop配置可以覆盖已经存在的hadoop配置

  • (火花- 33692)视图应该使用捕获的目录和命名空间来查找函数

  • (火花- 33669)在YARN客户端模式下sc.stop时,YARN应用程序状态监视器显示错误消息

  • (火花- 32110)在hyperloglog++中规范化特殊浮点数

  • (火花- 33677)[SQL]如果pattern中包含escapeChar,则跳过LikeSimplification规则

  • (火花- 33693)[SQL]弃用spark. SQL .hive. convertcas . txt

  • (火花- 33641)[SQL]使公共api中产生错误结果的新char/varchar类型无效

  • (火花- 32680)[SQL]如果有未解决的查询,不要对V2 CTAS进行预处理

  • (火花- 33676)[SQL]要求分区规范与V2中的模式精确匹配改变表格..添加/删除分区

  • (火花- 33670)[SQL]在v1 SHOW TABLE EXTENDED中验证分区提供程序是Hive

  • (火花- 33663)不应该在不存在的临时视图上调用取消缓存

  • (火花- 33667)[SQL]尊重spark.sql.caseSensitive在解决v1中的分区规范时进行配置显示分区

  • (火花- 33652)[SQL] DSv2: DeleteFrom应该刷新缓存

维护更新

看到Databricks Runtime 9.0维护更新

系统环境

  • 操作系统: Ubuntu 20.04.2 LTS

  • Java: Zulu 8.54.0.21-CA-linux64

  • Scala: 2.12.10

  • Python: 3.8.10

  • R: 4.1.0 (2021-05-18)

  • 三角洲湖1.0.0

已安装的Python库

图书馆

版本

图书馆

版本

图书馆

版本

Antergos Linux

2015.10 (ISO-Rolling)

appdirs

1.4.4

backcall

0.2.0

boto3

1.16.7

botocore

1.19.7

certifi

2020.12.5

chardet

4.0.0

周期计

0.10.0

Cython

0.29.23

dbus-python

1.2.16

装饰

5.0.6

distlib

0.3.2

distro-info

0.23 ubuntu1

facets-overview

1.0.0

filelock

3.0.12

idna

2.10

ipykernel

5.3.4

ipython

7.22.0

ipython-genutils

0.2.0

绝地武士

0.17.2

jmespath

0.10.0

joblib

1.0.1

jupyter-client

6.1.12

jupyter-core

4.7.1

kiwisolver

1.3.1

考拉

1.8.1

matplotlib

3.4.2

numpy

1.19.2

熊猫

1.2.4

parso

0.7.0

容易受骗的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

枕头

8.2.0

皮普

21.0.1

情节

4.14.3

prompt-toolkit

3.0.17

protobuf

3.17.2

psycopg2

2.8.5

ptyprocess

0.7.0

pyarrow

4.0.0

Pygments

2.8.1发布

PyGObject

3.36.0

pyparsing

2.4.7

python-apt

2.0.0 + ubuntu0.20.4.5

python-dateutil

2.8.1发布

pytz

2020.5

pyzmq

20.0.0

请求

2.25.1

requests-unixsocket

0.2.0

重试

1.3.3

s3transfer

0.3.7

scikit-learn

0.24.1

scipy

1.6.2

seaborn

0.11.1

setuptools

52.0.0

六个

1.15.0

ssh-import-id

5.10

statsmodels

0.12.2

threadpoolctl

魅惑

龙卷风

6.1

traitlets

5.0.5

unattended-upgrades

0.1

urllib3

1.25.11

virtualenv

20.4.1

wcwidth

0.2.5

0.36.2

已安装的R库

R库从微软CRAN快照在2021-07-28

图书馆

版本

图书馆

版本

图书馆

版本

askpass

1.1

为了

0.2.1

补丁

1.2.1 "

基地

4.1.0

base64enc

0.1 - 3

黑洞

1.72.0-3

4.0.4

bit64

1.2.1 "

引导

-28 - 1.3

酿造

1.0 6

生动

1.1.0

扫帚

0.7.2

callr

3.5.1

脱字符号

-86 - 6.0

cellranger

1.1.0

时间

-56 - 2.3

-19 - 7.3

cli

2.2.0

clipr

是0.7.1

集群

2.1.2

codetools

-18 - 0.2

色彩

2.0 0

commonmark

1.7

编译器

4.1.0

配置

0.3

covr

3.5.1

cpp11

0.2.4

蜡笔

1.3.4

凭证

1.3.0

相声

1.1.0.1

旋度

4.3

data.table

1.13.4

数据集

4.1.0

DBI

1.1.0

dbplyr

2.0.0

desc

1.2.0

devtools

2.3.2

diffobj

0.3.2

消化

0.6.27

dplyr

1.0.2中

DT

0.16

省略

0.3.1

评估

0.14

fansi

0.4.1

farver

2.0.3

fastmap

1.0.1

forcats

0.5.0

foreach

1.5.1

外国

-81 - 0.8

打造

0.2.0

fs

1.5.0

未来

1.21.0

泛型

0.1.0

哥特

1.0.2中

ggplot2

3.3.2

“大酒店”

1.2.0

gitcreds

0.1.1

glmnet

4.0 - 2

全局变量

0.14.0

胶水

1.4.2

高尔

0.2.2

图形

4.1.0

grDevices

4.1.0

网格

4.1.0

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

2.3.1

highr

0.8

hms

0.5.3

htmltools

0.5.0

htmlwidgets

1.5.3

httpuv

1.5.4

httr

1.4.2

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 9

isoband

0.2.3

迭代器

1.0.13

jsonlite

1.7.2

KernSmooth

-20 - 2.23

knitr

1.30

标签

0.4.2

晚些时候

1.1.0.1

晶格

-44 - 0.20

熔岩

1.6.8.1

lazyeval

0.2.2

生命周期

0.2.0

listenv

0.8.0

lubridate

1.7.9.2

magrittr

2.0.1

减价

1.1

质量

-54 - 7.3

矩阵

1.3 - 4

memoise

1.1.0

方法

4.1.0

mgcv

-36 - 1.8

mime

0.9

ModelMetrics

1.2.2.2

modelr

0.1.8

孟塞尔

0.5.0

nlme

-152 - 3.1

nnet

-16 - 7.3

numDeriv

2016.8 - -1.1

openssl

3

平行

4.1.0

平行

1.22.0

支柱

1.4.7

pkgbuild

1.1.0

pkgconfig

2.0.3

pkgload

1.1.0

plogr

0.2.0

plyr

1.8.6

赞美

1.0.0

prettyunits

1.1.1

pROC

1.16.2

processx

3.4.5

prodlim

2019.11.13

进步

1.2.2

承诺

1.1.1

原型

1.0.0

ps

1.5.0

purrr

0.3.4

r2d3

0.2.3

R6

2.5.0

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.3

RColorBrewer

1.1 - 2

Rcpp

1.0.5

readr

1.4.0

readxl

1.3.1

食谱

0.1.15

复赛

1.0.1

rematch2

2.1.2

遥控器

2.2.0

reprex

0.3.0

reshape2

1.4.4

雷克斯

1.2.0

rlang

0.4.9

rmarkdown

2.6

RODBC

-17 - 1.3

roxygen2

安装7.1.1

rpart

-15 - 4.1

rprojroot

2.0.2

Rserve

1.8 8

RSQLite

2.2.1

rstudioapi

0.13

rversions

2.0.2

房车

0.3.6

尺度

1.1.1

selectr

0.4 - 2

sessioninfo

1.1.1

形状

1.4.5

闪亮的

1.5.0

sourcetools

0.1.7

sparklyr

1.5.2

SparkR

3.1.1

空间

-11 - 7.3

样条函数

4.1.0

sqldf

-11 - 0.4

SQUAREM

2020.5

统计数据

4.1.0

stats4

4.1.0

stringi

1.5.3

stringr

1.4.0

生存

-11 - 3.2

sys

3.4

tcltk

4.1.0

TeachingDemos

2.10

testthat

3.0.0

宠物猫

3.0.4

tidyr

1.1.2

tidyselect

1.1.0

tidyverse

1.3.0

timeDate

3043.102

tinytex

0.28

工具

4.1.0

usethis

2.0.0

use utf8

1.1.4

跑龙套

4.1.0

uuid

0.1 - 4

vctrs

0.3.5

viridisLite

0.3.0

沃尔多

0.2.3

晶须

0.4

withr

tripwire

xfun

0.19

xml2

1.3.2

xopen

1.0.0

xtable

1.8 - 4

yaml

2.2.1

邮政编码

2.1.1

安装Java和Scala库(Scala 2.12集群版本)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.11.655

com.amazonaws

aws-java-sdk-cloudformation

1.11.655

com.amazonaws

aws-java-sdk-cloudfront

1.11.655

com.amazonaws

aws-java-sdk-cloudhsm

1.11.655

com.amazonaws

aws-java-sdk-cloudsearch

1.11.655

com.amazonaws

aws-java-sdk-cloudtrail

1.11.655

com.amazonaws

aws-java-sdk-cloudwatch

1.11.655

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.655

com.amazonaws

aws-java-sdk-codedeploy

1.11.655

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.655

com.amazonaws

aws-java-sdk-cognitosync

1.11.655

com.amazonaws

aws-java-sdk-config

1.11.655

com.amazonaws

aws-java-sdk-core

1.11.655

com.amazonaws

aws-java-sdk-datapipeline

1.11.655

com.amazonaws

aws-java-sdk-directconnect

1.11.655

com.amazonaws

aws-java-sdk-directory

1.11.655

com.amazonaws

aws-java-sdk-dynamodb

1.11.655

com.amazonaws

aws-java-sdk-ec2

1.11.655

com.amazonaws

aws-java-sdk-ecs

1.11.655

com.amazonaws

aws-java-sdk-efs

1.11.655

com.amazonaws

aws-java-sdk-elasticache

1.11.655

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.655

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.655

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.655

com.amazonaws

aws-java-sdk-emr

1.11.655

com.amazonaws

aws-java-sdk-glacier

1.11.655

com.amazonaws

aws-java-sdk-glue

1.11.655

com.amazonaws

aws-java-sdk-iam

1.11.655

com.amazonaws

aws-java-sdk-importexport

1.11.655

com.amazonaws

aws-java-sdk-kinesis

1.11.655

com.amazonaws

aws-java-sdk-kms

1.11.655

com.amazonaws

aws-java-sdk-lambda

1.11.655

com.amazonaws

aws-java-sdk-logs

1.11.655

com.amazonaws

aws-java-sdk-machinelearning

1.11.655

com.amazonaws

aws-java-sdk-marketplacecommerceanalytics

1.11.655

com.amazonaws

aws-java-sdk-marketplacemeteringservice

1.11.655

com.amazonaws

aws-java-sdk-opsworks

1.11.655

com.amazonaws

aws-java-sdk-rds

1.11.655

com.amazonaws

aws-java-sdk-redshift

1.11.655

com.amazonaws

aws-java-sdk-route53

1.11.655

com.amazonaws

aws-java-sdk-s3

1.11.655

com.amazonaws

aws-java-sdk-ses

1.11.655

com.amazonaws

aws-java-sdk-simpledb

1.11.655

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.655

com.amazonaws

aws-java-sdk-sns

1.11.655

com.amazonaws

aws-java-sdk-sqs

1.11.655

com.amazonaws

aws-java-sdk-ssm

1.11.655

com.amazonaws

aws-java-sdk-storagegateway

1.11.655

com.amazonaws

aws-java-sdk-sts

1.11.655

com.amazonaws

aws-java-sdk-support

1.11.655

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.655

com.amazonaws

jmespath-java

1.11.655

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.10.0

com.fasterxml.jackson.core

jackson-core

2.10.0

com.fasterxml.jackson.core

jackson-databind

2.10.0

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.10.0

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.10.0

com.fasterxml.jackson.module

jackson-module-paranamer

2.10.0

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.10.0

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.joshelser

dropwizard-metrics-hadoop-metrics2-reporter

0.1.2

com.github.luben

zstd-jni

1.4.8-1

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.2.4

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

1.4.195

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.microsoft.sqlserver

mssql-jdbc

9.2.1.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.9.5

com.twitter

chill_2.12

0.9.5

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.4

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1.4

commons-digester

commons-digester

1.8

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3.1

commons-pool

commons-pool

1.5.4

蜂巢2.7 - 2.3 - __hadoop -

jets3t - 0.7

liball_deps_2.12

蜂巢2.7 - 2.3 - __hadoop -

动物园管理员- 3.4

liball_deps_2.12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.10

io.delta

delta-sharing-spark_2.12

0.1.0

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.51.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.transaction

事务api

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.5

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

maven-trees

蜂巢2.7 - 2.3 - __hadoop -

liball_deps_2.12

net.java.dev.jna

jna

5.8.0

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.3

net.snowflake

spark-snowflake_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8 - 1

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

2.0.0

org.apache.arrow

arrow-memory-core

2.0.0

org.apache.arrow

arrow-memory-netty

2.0.0

org.apache.arrow

arrow-vector

2.0.0

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.commons

commons-compress

1.20

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.10

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1.6

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

第2.7.4

org.apache.hadoop

hadoop-auth

第2.7.4

org.apache.hadoop

hadoop-client

第2.7.4

org.apache.hadoop

hadoop-common

第2.7.4

org.apache.hadoop

hadoop-hdfs

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-app

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-common

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-core

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-jobclient

第2.7.4

org.apache.hadoop

hadoop-mapreduce-client-shuffle

第2.7.4

org.apache.hadoop

hadoop-yarn-api

第2.7.4

org.apache.hadoop

hadoop-yarn-client

第2.7.4

org.apache.hadoop

hadoop-yarn-common

第2.7.4

org.apache.hadoop

hadoop-yarn-server-common

第2.7.4

org.apache.hive

hive-beeline

2.3.7

org.apache.hive

hive-cli

2.3.7

org.apache.hive

hive-jdbc

2.3.7

org.apache.hive

hive-llap-client

2.3.7

org.apache.hive

hive-llap-common

2.3.7

org.apache.hive

hive-serde

2.3.7

org.apache.hive

hive-shims

2.3.7

org.apache.hive

hive-storage-api

2.7.2

org.apache.hive.shims

蜂巢0.23 -垫片

2.3.7

org.apache.hive.shims

hive-shims-common

2.3.7

org.apache.hive.shims

hive-shims-scheduler

2.3.7

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.6

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

测试盒框

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.5.12

org.apache.orc

orc-mapreduce

1.5.12

org.apache.orc

orc-shims

1.5.12

org.apache.parquet

parquet-column

1.10.1-databricks9

org.apache.parquet

parquet-common

1.10.1-databricks9

org.apache.parquet

parquet-encoding

1.10.1-databricks9

org.apache.parquet

parquet-format

测试盒框

org.apache.parquet

parquet-hadoop

1.10.1-databricks9

org.apache.parquet

parquet-jackson

1.10.1-databricks9

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm7-shaded

4.15

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

动物园管理员

3.4.14

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.36.v20210114

org.eclipse.jetty

jetty-continuation

9.4.36.v20210114

org.eclipse.jetty

jetty-http

9.4.36.v20210114

org.eclipse.jetty

jetty-io

9.4.36.v20210114

org.eclipse.jetty

jetty-jndi

9.4.36.v20210114

org.eclipse.jetty

jetty-plus

9.4.36.v20210114

org.eclipse.jetty

jetty-proxy

9.4.36.v20210114

org.eclipse.jetty

jetty-security

9.4.36.v20210114

org.eclipse.jetty

jetty服务器

9.4.36.v20210114

org.eclipse.jetty

jetty servlet

9.4.36.v20210114

org.eclipse.jetty

jetty-servlets

9.4.36.v20210114

org.eclipse.jetty

jetty-util

9.4.36.v20210114

org.eclipse.jetty

jetty-util-ajax

9.4.36.v20210114

org.eclipse.jetty

jetty-webapp

9.4.36.v20210114

org.eclipse.jetty

jetty-xml

9.4.36.v20210114

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jersey.containers

jersey-container-servlet

2.30

org.glassfish.jersey.containers

jersey-container-servlet-core

2.30

org.glassfish.jersey.core

jersey客户端

2.30

org.glassfish.jersey.core

jersey-common

2.30

org.glassfish.jersey.core

jersey-server

2.30

org.glassfish.jersey.inject

jersey-hk2

2.30

org.glassfish.jersey.media

jersey-media-jaxb

2.30

org.hibernate.validator

hibernate验证框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M5

org.json4s

json4s-core_2.12

3.7.0-M5

org.json4s

json4s-jackson_2.12

3.7.0-M5

org.json4s

json4s-scalap_2.12

3.7.0-M5

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.2.5

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.9.14

org.roaringbitmap

垫片

0.9.14

org.rocksdb

rocksdbjni

6.20.3

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.10

org.scala-lang

scala-library_2.12

2.12.10

org.scala-lang

scala-reflect_2.12

2.12.10

org.scala-lang.modules

scala-collection-compat_2.12

2.1.1

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

测试界面

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.0

org.scalanlp

breeze_2.12

1.0

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.5

org.typelevel

algebra_2.12

2.0.0-M2

org.typelevel

cats-kernel_2.12

2.0.0-M4

org.typelevel

machinist_2.12

0.6.8

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0-M1

org.typelevel

spire-bob体育客户端下载platform_2.12

0.17.0-M1

org.typelevel

spire-util_2.12

0.17.0-M1

org.typelevel

spire_2.12

0.17.0-M1

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.2

org.yaml

snakeyaml

1.24

奥罗

奥罗

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52