Databricks Runtime 12.0

以下发布说明提供了Databricks运行时12.0的信息，由Apache Spark 3.3.1提供支持。

Databricks在2022年12月发布了这些图像。

新功能和改进

支持独立集群的阶段级任务资源配置文件

当禁用动态分配时，您现在可以在独立集群上使用阶段级调度。要使用此功能，请指定任务资源ResourceProfileBuilder对于每个阶段。

SQL支持的选择性覆盖`取代在哪里`

现在可以使用以下模式有选择地覆盖与Delta表中任意表达式匹配的数据。

             插入成table_name取代在哪里谓词append_relation
            

看到使用replaceWhere任意选择覆盖．

现在SQL中支持水印

您现在可以使用Delta Live Tables SQL接口和针对流数据帧的SQL查询来指定水印。看到水印条款．

PySpark内存分析

PySpark用户定义函数现在启用内存分析。这提供了关于用户定义函数中每行代码的内存增量、内存使用情况和出现次数的信息。

DELETE和UPDATE的动态修剪

删除而且更新现在在可以提高性能的实例中使用动态文件和分区修剪。例如，当使用较小的源表更新或删除较大表中的行时，将启用动态修剪。

用于分区数据操作语言操作的行级删除度量

使用分区谓词，用户现在可以审计在运行数据操作语言(DML)操作时删除了多少行，例如删除，截断,replaceWhere．

错误修复

修正了自动加载器中JSON解析的问题，其中所有列都被保留为字符串。在此之前,cloudFiles.inferColumnTypes没有设定或设定假JSON包含嵌套对象。

库升级

升级的Python库:
- Argon2-cffi从20.1.0到21.3.0
- Attrs从21.2.0到21.4.0
- backports.entry-points-selectablefrom 1.1.1 to 1.2.0
- 漂白从4.0.0到4.1.0
- Boto3从1.21.18到1.21.32
- Botocore从1.24.18到1.24.32
- Cffi从1.14.6到1.15.0
- 单击8.0.3 ~ 8.0.4
- 从0.10.0到0.11.0的循环器
- Cython从0.29.24到0.29.28
- 从1.4.1调试到1.5.1
- 从5.1.0到5.1.1的装饰器
- 入口点从0.3到0.4
- Idna从3.2到3.3
- Ipykernel从6.12.1到6.15.3
- Ipython从7.32.0到8.5.0
- Ipywidgets从7.7.0到7.7.2
- 绝地武士从0.18.0到0.18.1
- Joblib从1.0.1到1.1.0
- Jsonschema从3.2.0到4.4.0
- 从1.3.1到1.3.2
- Matplotlib从3.4.3到3.5.1
- Nbclient从0.5.3到0.5.13
- Nbconvert从6.1.0到6.4.4
- Nbformat从5.1.3到5.3.0
- Nest-asyncio从1.5.1到1.5.5
- 笔记本从6.4.5到6.4.8
- Numpy从1.20.3到1.21.5
- 从21.0到21.3的包装
- 熊猫从1.3.4到1.4.2
- pandocfilter从1.4.3到1.5.0
- 从0.8.2到0.8.3
- 枕头从8.4.0到9.0.1
- bob体育客户端下载平台从2.5.2到2.5.4
- 从5.9.0绘制到5.6.0
- Prometheus-client从0.11.0升级到0.13.1
- Protobuf从4.21.5到3.19.4
- Pycparser从2.20到2.21
- 从2.10.0到2.11.2的pyments
- Pyodbc从4.0.31到4.0.32
- Pyzmq从22.2.1到22.3.0
- 从2.26.0到2.27.1的请求
- S3transfer从0.5.2迁移到0.5.0
- Scikit-learn从0.24.2到1.0.2
- Scipy从1.7.1到1.7.3
- statmodel从0.12.2到0.13.2
- 从0.9.4到0.13.1的终止
- Tomli从2.0.1到1.2.2
- 从5.1.0到5.1.1
- Urllib3从1.26.7到1.26.9
- widgetsnbeextension从3.6.0扩展到3.6.1
升级的R库:
- 从4.1.3到4.2.2
- 从1.0-7到1.0-8酿造
- Bslib从0.4.0到0.4.1
- Callr从3.7.2到3.7.3
- 从2.3-57到2.3-58
- Cli从3.3.0到3.4.1
- 集群从2.1.3到2.1.4
- Commonmark从1.8.0到1.8.1
- 编译器从4.1.3到4.2.2
- Cpp11从0.4.2到0.4.3
- 蜡笔从1.5.1到1.5.2
- 旋度从4.3.2到4.3.3
- data.tablefrom 1.14.2 to 1.14.4
- 数据集4.1.3至4.2.2
- 从1.4.1描述到1.4.2
- 从2.4.4到2.4.5的Devtools
- 摘要从0.6.29到0.6.30
- E1071从1.7-11到1.7-12
- 从0.16评估到0.18
- Fontawesome从0.3.0到0.4.0
- 未来从1.28.0到1.29.0
- future.applyfrom 1.9.1 to 1.10.0
- 从1.2.0到1.2.1漱口
- 从1.8.0到1.9.1
- Ggplot2从3.3.6到3.4.0
- Gh从1.3.0到1.3.1
- Gitcreds从0.1.1到0.1.2
- 4.1.3至4.2.2的图形
- grDevices从4.1.3到4.2.2
- 从4.1.3到4.2.2的网格
- Httpuv从1.6.5到1.6.6
- 等带从0.2.5到0.2.6
- Jsonlite从1.8.0到1.8.3
- 熔岩从1.6.10到1.7.0
- 生命周期从1.0.1到1.0.3
- 润滑从1.8.0到1.9.0
- 从1.1降至1.3
- 质量从7.3-56到7.3-58
- 矩阵从1.4-1到1.5-1
- 4.1.3 ~ 4.2.2中的方法
- MGCV从1.8-40增加到1.8-41
- Nlme从3.1-157到3.1-160
- Nnet从7.3-17到7.3-18
- Openssl从2.0.2到2.0.4
- 平行于4.1.3到4.2.2
- Pkgload从1.3.0到1.3.1
- Processx从3.7.0到3.8.0
- Ps从1.7.1到1.7.2
- 呼噜声从0.3.4到0.3.5
- 从1.2.2到1.2.4
- RcppEigen从0.3.3.9.2到0.3.3.9.3
- 从2.1.2到2.1.3的阅读器
- 从1.0.1到1.0.3的食谱
- Rlang从1.0.5到1.0.6
- rmark从2.16降至2.18
- 从4.1.16到4.1.19
- 从2.2.16到2.2.18
- 从1.7.2到1.7.3闪亮
- SparkR从3.3.0到3.3.1
- 从4.1.3到4.2.2的样条
- 从4.1.3到4.2.2的统计数据
- 统计数据4从4.1.3到4.2.2
- 从3.4到3.4.1
- TCLTK从4.1.3到4.2.2
- 从3.1.4测试到3.1.5
- Tidyr从1.2.0到1.2.1
- Tidyselect从1.1.2到1.2.0
- timeate从4021.104到4021.106
- Tinytex从0.41到0.42
- 4.1.3到4.2.2的工具
- 从4.1.3到4.2.2的Utils
- VCTRS从0.4.1到0.5.0
- Vroom从1.5.7升级到1.6.0
- Xfun从0.32到0.34
- Yaml从2.3.5到2.3.6
- 从2.2.0压缩到2.2.2
升级的Java库:
- com.fasterxml.jackson.core。jackson-databindfrom 2.13.4 to 2.13.4.2
- org.apache.parquet。parquet-columnfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。parquet-commonfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。parquet-encodingfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。Parquet-format-structures从1.12.0- databicks -0007到1.12.3- databicks -0001
- org.apache.parquet。parquet-hadoopfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.parquet。parquet-jacksonfrom 1.12.0-databricks-0007 to 1.12.3-databricks-0001
- org.apache.yetus。从0.5.0到0.13.0的受众注释

Apache火花

Databricks Runtime 12.0包含Apache Spark 3.3.1。此版本包括所有Spark修复和改进Databricks Runtime 11.3 LTS，以及以下对Spark的额外错误修复和改进:

(火花- 40844)[SC-116996][12.x][12.0][12.0.0]恢复“[SC-113542][SS]翻转Kafka偏移获取配置的默认值”
(火花- 40646)[SC-113379][SQL]修复在JSON数据源和JSON函数中返回部分结果的问题
(火花- 41195)[SQL]支持加入子节点的PIVOT/UNPIVOT
(火花- 41178)[SC-116139][SQL]修正解析器中JOIN和逗号的优先级
(火花- 41072)[SC-116140][SC-116044][SQL][SS]添加错误类STREAM_FAILED来StreamingQueryException
(火花- 40921)[SC-115140][SC-114585][SQL] Add WHEN NOT MATCHED BY SOURCE子句to MERGE INTO
(火花- 37980)[SQL]扩展元数据列以支持Parquet文件的行索引
(火花- 41055)(sc - 115582) [SQL]重命名_LEGACY_ERROR_TEMP_2424来GROUP_BY_AGGREGATE
(火花- 41101)[SC-115849][PYTHON][PROTOBUF] PYSPARK-PROTOBUF的消息类名支持
(火花- 40956)[SC-115867] SQL等效的数据帧覆盖命令
(火花- 41095)[SC-115659][SQL]将无法解析的操作符转换为内部错误
(火花- 41144)[SC-115866][SQL]未解决的提示不应导致查询失败
(火花- 41137)(sc - 115858) [SQL]重命名LATERAL_JOIN_OF_TYPE来INVALID_LATERAL_JOIN_TYPE
(火花- 40998)[SQL]重命名错误类_LEGACY_ERROR_TEMP_0040来INVALID_IDENTIFIER
(火花- 41015)[SC-115130][SQL][PROTOBUF] UnitTest null检查数据生成器
(火花- 40769)[SC-114923][CORE][SQL]将聚合表达式的类型检查失败迁移到错误类
(火花- 41043)[SQL]重命名错误类_LEGACY_ERROR_TEMP_2429来NUM_COLUMNS_MISMATCH
(火花- 40777)[SC-114855][SQL][PROTOBUF] PROTOBUF导入支持和移动错误类
(火花- 41019)[SC-114987][SQL]提供查询上下文failAnalysis ()
(火花- 41027)(sc - 115131] [SQL]使用UNEXPECTED_INPUT_TYPE而不是MAP_FROM_ENTRIES_WRONG_TYPE
(火花- 40476)[SC-115868][SC-111163][ML][SQL]减少ALS的shuffle大小
(火花- 41134)[SC-115851][SQL]改进内部错误的错误信息
(火花- 37980)恢复“[SQL]扩展元数据列以支持Parquet文件的行索引
(火花- 41109)[SQL]重命名错误类遗产ERROR_TEMP_1216到INVALID_LIKE_PATTERN
(火花- 40984)(sc - 115844)(核心)[SQL]使用NON_FOLDABLE_INPUT而不是FRAME_LESS_OFFSET_WITHOUT_FOLDABLE
(火花- 41029)[SQL]优化构造函数的使用GenericArrayDatafor Scala 2.13
(火花- 40697)[SC-113648][SQL]添加读侧字符填充以覆盖外部数据文件
(火花- 40978)(sc - 114574] [SQL]迁移failAnalysis ()W /o上下文到错误类
(火花- 40663)[SQL]迁移执行错误到错误类:遗产error_temp_2251 - 2275
(火花- 38959)[SC-115672][SC-112707][SQL] DS V2:支持行级命令中的运行时组过滤
(火花- 40372)[SC-115668][SQL]将数组类型检查失败迁移到错误类
(火花- 41038)(sc - 115371) [SQL]重命名MULTI_VALUE_SUBQUERY_ERROR来SCALAR_SUBQUERY_TOO_MANY_ROWS
(火花- 40965)[SQL]重命名错误类_LEGACY_ERROR_TEMP_1208来FIELD_NOT_FOUND
(火花- 40748)[SC-114696][SQL]迁移类型检查失败的条件到错误类
(火花- 40371)[SC-114557][SQL]将NthValue和NTile的类型检查失败迁移到错误类
(火花- 41092)[SC-115547][SQL]不要使用标识符来匹配间隔单位
(火花- 41009)[SQL]重命名错误类_LEGACY_ERROR_TEMP_1070来LOCATION_ALREADY_EXISTS
(火花- 37980)扩展元数据列以支持Parquet文件的行索引
(火花- 40967)(sc - 114448] [SQL]迁移failAnalysis ()到错误类上
(火花- 34265)[SC-115486][SC-113788][PYTHON][SQL] Instrument使用SQL度量的PYTHON udf
(火花- 41012)(sc - 114873) [SQL]重命名_LEGACY_ERROR_TEMP_1022来ORDER_BY_POS_OUT_OF_RANGE
(火花- 41042)(sc - 115142) [SQL]重命名PARSE_CHAR_MISSING_LENGTH来DATATYPE_MISSING_SIZE
(火花- 40752)[SC-114442][SQL]将misc表达式的类型检查失败迁移到错误类
(火花- 37945)[SC-115534][SQL][CORE]在算术运算的执行错误中使用错误类
(火花- 40374)[SC-114705][SQL]将类型创建者的类型检查失败迁移到错误类
(火花- 41056)[SC-115354][R]修复R 4.2引入的新的R_LIBS_SITE行为
(火花- 41041)(sc - 115357] [SQL]积分_LEGACY_ERROR_TEMP_1279成TABLE_OR_VIEW_ALREADY_EXISTS
(火花- 40663)[SC-114852][SQL]迁移执行错误到错误类:遗产error_temp_2201 - 2225
(火花- 41020)[SC-114984][SQL]重命名错误类_LEGACY_ERROR_TEMP_1019来STAR_GROUP_BY_POS
(火花- 41035)[SQL]不要修补聚合函数的可折叠子函数RewriteDistinctAggregates
(火花- 39778)[SC-114353][SQL]改进错误类和消息
(火花- 40798)[SQL] Alter partition应该验证storeAssignmentPolicy后面的值
(火花- 40810)[SQL]在CreateDatabaseCommand和AlterDatabaseSetLocationCommand中使用SparkIllegalArgumentException而不是IllegalArgumentException
(火花- 40921)[SC-115140][SC-114585][SQL]添加当不匹配的源子句合并到
(火花- 40360)ALREADY_EXISTS和NOT_FOUND异常
(火花- 41007)[SC-115085][SQL]为java.math.BigInteger添加缺少的序列化器
(火花- 40751)[SC-114254][SQL]将高阶函数类型检查失败迁移到错误类
(火花- 40248)[SC-114704][SQL]使用更大的位数来构建Bloom过滤器
(火花- 41040)[SC-115145][SS]修复使用readStream.table时自联合流查询失败的问题
(火花- 32380)[SC-114966][SQL]修复Spark通过Hive访问HBase表的问题
(火花- 40749)[SC-114860][SQL]将生成器类型检查失败迁移到错误类
(火花- 40925)(sc - 114445] [SQL] [SS] [WARMFIX][12。修复有状态操作符late re…
(火花- 40654)[SC-112783]移除临时日志线
(火花- 40742)[SC-114913][SC-112646][CORE][SQL]修复与泛型类型相关的Java编译警告
(火花- 40657)[SC-113642][Cherry-pick]在Protob中增加对Java类的支持…
(火花- 40898)[SC-113932][SQL]在数据类型不匹配错误中引用函数名
(火花- 40760)[SC-113750][SQL]将间隔表达式的类型检查失败迁移到错误类
(火花- 36114)[SC-113771][SQL]支持带有相关非相等谓词的子查询
(火花- 40856)[SC-113738][SQL]更新WRONG_NUM_PARAMS错误模板
(火花- 40759)[SC-114251][SQL]将时间窗口的类型检查失败迁移到错误类
(火花- 40750)[SC-113812][SQL]将数学表达式的类型检查失败迁移到错误类
(火花- 40756)[SC-113749][SQL]将字符串表达式的类型检查失败迁移到错误类
(火花- 40768)[SC-113640][SQL]将bloom_filter_agg()的类型检查失败迁移到错误类
(火花- 40369)[SC-113402][CORE][SQL]通过反射将调用的类型检查失败迁移到错误类
(火花- 39445)[SQL]删除列修剪时，如果windowExpressions为空，则删除窗口
(火花- 40761)[SC-113245][SQL]将百分比表达式的类型检查失败迁移到错误类
(火花- 40361)[SC-112789][SQL]迁移算术类型检查失败到错误类
(火花- 40714)(sc - 112576) [SQL]删除PartitionAlreadyExistsException
(火花- 40702)[SC-112437][SQL]修复分区规格PartitionsAlreadyExistException
(火花- 40358)[SC-112631][SQL]将集合类型检查失败迁移到错误类
(火花- 40910)[SC-114259][SQL]用SparkUnsupportedOperationException替换UnsupportedOperationException
(火花- 39876)[SQL]添加UNPIVOT到SQL语法中
(火花- 39783)[SC-113389][SQL]引用qualifiedName修复错误消息中候选列的倒勾
(火花- 40663)[SQL]迁移执行错误到错误类:遗产error_temp_2026 - 2282
(火花- 40975)[SQL]重命名错误类_LEGACY_ERROR_TEMP_0021来UNSUPPORTED_TYPED_LITERAL
(火花- 37935)[SC-114472][SQL]消除单独的错误子类字段
(火花- 40944)[SC-114530][SQL]放宽CREATE TABLE列选项的排序约束
(火花- 40815)(sc - 114528] [SQL]添加DelegateSymlinkTextInputFormat到解决方案SymlinkTextInputSplit错误
(火花- 40933)[SC-114441][SQL]重新实现df.stat{cov, corr}带有内置SQL函数
(火花- 40932)[SC-114439][CORE]修复allGather的问题消息被覆盖
(火花- 39312)[SQL]使用parquet native In predicate for In filter下推
(火花- 40862)[SC-114352][SQL] RewriteCorrelatedScalarSubquery支持非聚合子查询
(火花- 40963)[SC-114446][SQL]在创建的项目中正确设置为空ExtractGenerator
(火花- 40663)[SQL]迁移执行错误到错误类:遗产error_temp_2000 - 2024
(火花- 40892)[SC-114347][SQL][SS]放宽对window_time规则的要求-允许多个window_time调用
(火花- 40540)[SQL]迁移编译错误到错误类:遗产error_temp_1100 - 1347
(火花- 40924)[SC-114258][SQL]修复输入符号奇数时的Unhex问题
(火花- 40821)[SC-113754][SQL][CORE][PYTHON][SS]引入window_time函数从窗口列中提取事件时间
(火花- 40800)[SC-113772][SQL]在OptimizeOneRowRelationSubquery中总是内联表达式
(火花- 40900)(sc - 114006) [SQL]重装frequentItems用数据帧操作
(火花- 40735)[SC-114022][SC-112657]在脚本中始终使用/usr/bin/env bash调用bash，使代码更可移植
(火花- 40773)[SQL]重构checkCorrelationsInSubquery
(火花- 40615)[SC-113400][SQL]在解关联子查询时检查不支持的数据类型
(火花- 40660)[SC-112293][CORE][SQL]切换到XORShiftRandom来分发元素
(火花- 40540)[SC-113926][SQL]迁移编译错误到错误类
(火花- 40551)[SC-113135][SQL] DataSource V2:为基于增量的行级操作添加api
(火花- 39391)[SC-110676][CORE]重用分区类
(火花- 40368)[SC-113396][SQL]迁移Bloom Filter类型检查失败到错误类
(火花- 39146)[SC-111814][CORE][SQL]引入本地单例forobjectmap可以重复使用
(火花- 40357)[sc - 1113786][SQL]将窗口类型检查失败迁移到错误类
(火花- 40874)[SC-113756][PYTHON]修复启用加密时PYTHON udf中的广播
(火花- 40359)[SC-113770][SC-111146][SQL]将CSV/JSON表达式中的类型检查迁移到错误类失败
(火花- 40880)(sc - 113764) [SQL]重装总结用数据帧操作
(火花- 40877)(sc - 113763) [SQL]重装交叉表用数据帧操作
(火花- 40382)[SC-113098][SQL]将语义相同的子表达式分组RewriteDistinctAggregates
(火花- 40826)[SC-113532][SS]增加额外的检查点重命名文件检查
(火花- 40829)[SC-113426][SQL]在CREATE TABLE LIKE视图中STORED AS serde不能正常工作
(火花- 40844)[SC-113542][SS]翻转Kafka偏移取配置的默认值
(火花- 40488)[SC-113568][SC-111160]当数据源写失败时不包装抛出的异常
(火花- 40560)(sc - 113631) [sc - 111335] [SQL]重命名消息来messageTemplate在标准错误格式
(火花- 40618)[SC-113096][SQL]修复了MergeScalarSubqueries规则中使用引用跟踪嵌套子查询的错误
(火花- 40530)[SC-113528][SC-111332][SQL]添加错误相关的开发人员api
(火花- 40806)[SC-113250][SQL]错误修正:CREATE TABLE -> REPLACE TABLE
(火花- 40646)[SC-113379][SQL]修复在JSON数据源和JSON函数中返回部分结果的问题
(火花- 40654)[SQL] Protobuf支持Spark - from…
(火花- 40753)[SC-113539][SQL]修复了目录操作测试用例中的错误
(火花- 40765)[SQL]优化冗余fs操作CommandUtils # calculateSingleLocationSize # getPathSize方法
(火花- 40114)[es - 479282] [R][11。X] Arrow 9.0.0支持SparkR
(火花- 40479)[SC-110935][SQL]将意外输入类型错误迁移到错误类
(火花- 40473)[SC-113388][SC-111141][SQL]迁移解析错误到错误类
(火花- 39853)[SC-111867][CORE]当禁用动态分配时，支持独立集群的阶段级任务资源配置文件(从PR-47157向后端口)
(火花- 40407)[SC-111161][SQL]修复df.repartition可能导致的数据倾斜
(火花- 40425)[SC-110840][SQL] DROP TABLE不需要做表查找
(火花- 40703)[SC-113242][SQL]在SinglePartition上引入shuffle来提高并行性
(火花- 40640)[SC-113138][CORE] SparkHadoopUtil设置hadoop/hive配置选项的起源
(火花- 39062)(11。为独立集群添加阶段级资源调度支持
(火花- 33861)[SQL]简化谓词中的条件
(火花- 40667)[SQL]重构文件数据源选项
(火花- 40370)[SC-110677][SQL]迁移类型检查在CAST中出错
(火花- 40611)[SQL]提高性能setInterval＆getInterval为UnsafeRow
(火花- 40733)[SC-113126][SQLSERDEPROPERTIES结果是ShowCreateTableAsSerdeCommand有固定的顺序
(火花- 40585)[SQL]支持双引号标识符
(火花- 40772)(sc - 112992] [SQL]改善spark.sql.adaptive.skewJoin.skewedPartitionFactor支持双值
(火花- 40565)[SC-112417][SQL]不要将不确定的过滤器推送到V2文件源
(火花- 8731)[SC-112784] Beeline在后台启动时不能使用-e选项
(火花- 35242)[SC-111398][SQL]支持更改会话目录的默认数据库
(火花- 40426)[SC-110672][SQL]从SparkThrowable.getMessageParameters返回一个映射
(火花- 40494)[SC-112655][SC-111025][CORE][SQL][ML][MLLIB]优化keys.zipWithIndex.toMap代码模式
(火花- 40521)[SC-112430][SQL]返回只存在分区PartitionsAlreadyExistException从Hive的创建分区
(火花- 40705)[SC-112567][SQL]在Scala 2.13中将Row转换为JSON时使用可变数组的句柄
(火花- 39895)[SC-112590][SQL][PYTHON]支持多列拖放
(火花- 40607)[SC-112296][CORE][SQL][MLLIB][SS]删除冗余的字符串插值操作
(火花- 40420)[SC-112604][SC-110569][SQL]按JSON格式的名称对错误消息参数进行排序
(火花- 40403)[SC-110564][SQL]使用长值计算不安全的数组大小以避免在错误消息中出现负大小
(火花- 40482)(sc - 110831) [SQL]恢复火星- 24544打印实际失败导致当看向上函数失败的
(火花- 40400)[SC-112555][SC-110397][SQL]将错误消息参数作为映射传递给异常
(火花- 40628)[SC-112414][SQL]不要通过项目推送复杂的左半/反连接条件
(火花- 40562)(sc - 111455] [SQL]添加spark.sql.legacy.groupingIdWithAppendedUserGroupBy
(火花- 40501)[SC-111333][SQL]为优化器添加PushProjectionThroughLimit
(火花- 39200)[SC-111244][CORE] Make Fallback Storage readFully on content
(火花- 38717)[SC-111241][SQL]处理Hive的桶规范保留行为
(火花- 40385)[SC-111123][SQL]修复伴生对象构造函数的解释路径
(火花- 40216)[SQL]抽取公共信息ParquetUtils.prepareWrite方法来重复删除代码ParquetFileFormat而且ParquetWrite
(火花- 40636)[SC-112160][CORE]修复了在BlockManagerDecommissioner中错误的保留拖牌日志
(火花- 40617)[SC-112009]修复ExecutorMetricsPoller的stageTCMP条目处理时的竞态条件
(火花- 40618)[SC-112046][SQL]修复MergeScalarSubqueries规则中嵌套子查询的错误
(火花- 40612)[SC-111933][CORE]修复非yarn资源管理器上用于委托令牌更新的主体
(火花- 40595)[SC-111662][SQL]改进未使用CTE关系的错误消息
(火花- 40314)[SC-111879][SQL][PYTHON]为inline和inline_outer添加scala和PYTHON绑定
(火花- 40416)[SC-110945][SQL]移动子查询表达式CheckAnalysis错误消息以使用新的错误框架
(火花- 40318)[SC-111865][SC-109986][SQL] try_avg()应该从其子节点抛出异常
(火花- 40509)[SC-111644][SS][PYTHON]添加applyInPandasWithState示例
(火花- 40310)[SC-111329][SC-109842][SQL] try_sum()应该从其子节点抛出异常
(火花- 40016)在try_sum()的实现中删除不必要的TryEval
(火花- 40527)[SQL]在CreateStruct中保留结构字段名或映射键
(火花- 38098)[SC-111178][PYTHON]为基于箭头的转换增加了对嵌套StructType的ArrayType的支持
(火花- 40324)[SC-111359][SC-110293][SQL]在AnalysisException中提供查询上下文
(火花- 40492)[SC-111324][SS]在流StateStore卸载前进行维护
(火花- 40487)[SQL]使BroadcastNestedLoopJoinExec中的defaultJoin并行运行
(火花- 40474)[SC-111273][SQL]对混合日期和时间戳的列进行正确的CSV模式推断和数据解析行为
(火花- 40508)[SQL]将未知分区视为未知分区
(火花- 40496)[SC-111234][SQL]修复配置控制enableDateTimeParsingFallback
(火花- 40435)[SC-111214][SS][PYTHON]在PySpark中添加applyInPandasWithState测试套件
(火花- 40434)[SC-111125][SS][PYTHON]在PySpark中实现applyInPandasWithState

系统环境

操作系统: Ubuntu 20.04.5 LTS
JavaZulu 8.64.0.19-CA-linux64
Scala: 2.12.14
Python: 3.9.5
R: 4.2.2
三角洲湖: 2.2.0

已安装的Python库

图书馆	版本	图书馆	版本	图书馆	版本
argon2-cffi	21.3.0	argon2-cffi-bindings	21.2.0	asttokens	2.0.5
attrs	21.4.0	backcall	0.2.0	backports.entry-points-selectable	1.2.0
beautifulsoup4	4.11.1	黑色的	22.3.0	漂白剂	4.1.0
boto3	1.21.32	botocore	1.24.32	certifi	2021.10.8
cffi	1.15.0	chardet	4.0.0	charset-normalizer	2.0.4
点击	8.0.4	密码学	3.4.8	周期计	0.11.0
Cython	0.29.28	dbus-python	1.2.16	debugpy	1.5.1
装饰	5.1.1	defusedxml	是0.7.1	distlib	0.3.6
entrypoints	0.4	执行	0.8.3	facets-overview	1.0.0
fastjsonschema	2.16.2	filelock	3.8.0	fonttools	4.25.0
idna	3．3	ipykernel	6.15.3	ipython	8.5.0
ipython-genutils	0.2.0	ipywidgets	7.7.2	绝地武士	0.18.1
Jinja2	14	jmespath	0.10.0	joblib	1.1.0
jsonschema	4.4.0	jupyter-client	6.1.12	jupyter_core	4.11.2
jupyterlab-pygments	0.1.2	jupyterlab-widgets	1.0.0	kiwisolver	1.3.2
MarkupSafe	2.0.1	matplotlib	3.5.1	matplotlib-inline	0.1.2
使走调	0.8.4	mypy-extensions	0.4.3	nbclient	0.5.13
nbconvert	6.4.4	nbformat	5.3.0	nest-asyncio	1.5.5
笔记本	6.4.8	numpy	1.21.5	包装	21.3
熊猫	1.4.2	pandocfilters	1.5.0	parso	0.8.3
pathspec	0.9.0	容易受骗的人	0.5.2	pexpect	4.8.0
pickleshare	0.7.5	枕头	9.0.1	皮普	21.2.4
bob体育客户端下载platformdirs	2.5.4	情节	5.6.0	prometheus-client	0.13.1
prompt-toolkit	3.0.20	protobuf	3.19.4	psutil	5.8.0
psycopg2	2.9.3	ptyprocess	0.7.0	pure-eval	0.2.2
pyarrow	7.0.0	pycparser	2.21	Pygments	2.11.2
PyGObject	3.36.0	pyodbc	4.0.32	pyparsing	3.0.4
pyrsistent	0.18.0	python-dateutil	2.8.2	pytz	2021.3
pyzmq	22.3.0	请求	2.27.1	requests-unixsocket	0.2.0
s3transfer	0.5.0	scikit-learn	1.0.2中	scipy	1.7.3
seaborn	0.11.2	Send2Trash	1.8.0	setuptools	58.0.4
六个	1.16.0	soupsieve	2.3.1	ssh-import-id	5.10
堆栈数据	0.2.0	statsmodels	0.13.2	韧性	8.0.1
terminado	0.13.1	testpath	0.5.0	threadpoolctl	2.2.0
tokenize-rt	4.2.1	tomli	1.2.2	龙卷风	6.1
traitlets	5.1.1	typing_extensions	以下4.4.1	unattended-upgrades	0．1
urllib3	1.26.9	virtualenv	20.8.0	wcwidth	0.2.5
webencodings	0.5.1	轮	0.37.0	widgetsnbextension	3.6.1

已安装的R库

R库从微软CRAN快照在2022-11-11．

图书馆	版本	图书馆	版本	图书馆	版本
箭头	10.0.0	askpass	1．1	为了	0.2.1
补丁	1.4.1	基地	4.2.2	base64enc	0.1 - 3
位	4.0.4	bit64	你	团	1.2.3
引导	-28 - 1.3	酿造	1.0 8	生动	1.1.3
扫帚	1.0.1	bslib	0.4.1	cachem	1.0.6
callr	3.7.3	脱字符号	-93 - 6.0	cellranger	1.1.0
时间	-58 - 2.3	类	-20 - 7.3	cli	3.4.1
clipr	0.8.0	时钟	0.6.1	集群	2.1.4
codetools	-18 - 0.2	色彩	2.0 - 3	commonmark	1.8.1
编译器	4.2.2	配置	0.3.1	cpp11	0.4.3
蜡笔	1.5.2	凭证	1.3.2	旋度	4.3.3
data.table	1.14.4	数据集	4.2.2	DBI	1.1.3
dbplyr	2.2.1	desc	1.4.2	devtools	2.4.5
diffobj	0.3.5	消化	0.6.30	downlit	0.4.2
dplyr	1.0.10	dtplyr	1.2.2	e1071	-12 - 1.7
省略	0.3.2	评估	0.18	fansi	1.0.3
farver	2.1.1	fastmap	1.1.0	fontawesome	0.4.0
forcats	0.5.2	foreach	1.5.2	外国	-82 - 0.8
打造	0.2.0	fs	1.5.2	未来	1.29.0
future.apply	1.10.0	含漱剂	1.2.1 "	泛型	0.1.3
哥特	1.9.1	ggplot2	3.4.0	“大酒店”	1.3.1
gitcreds	0.1.2	glmnet	4.1 - 4	全局变量	0.16.1
胶水	1.6.2	googledrive	2.0.0	googlesheets4	1.0.1
高尔	1.0.0	图形	4.2.2	grDevices	4.2.2
网格	4.2.2	gridExtra	2．3	gsubfn	0.7
gtable	0.3.1	需要戴安全帽的	1.2.0	还	2.5.1
highr	0.9	hms	1.1.2	htmltools	0.5.3
htmlwidgets	1.5.4	httpuv	1.6.6	httr	1.4.4
id	1.0.1	ini	0.3.1	不小	-13 - 0.9
isoband	0.2.6虽然只是	迭代器	1.0.14	jquerylib	0.1.4
jsonlite	1.8.3	KernSmooth	-20 - 2.23	knitr	1.40
标签	0.4.2	晚些时候	1.3.0	晶格	-45 - 0.20
熔岩	1.7.0	生命周期	1.0.3	listenv	0.8.0
lubridate	1.9.0	magrittr	2.0.3	减价	1.3
质量	-58 - 7.3	矩阵	1.5 - 1	memoise	2.0.1
方法	4.2.2	mgcv	-41 - 1.8	mime	0.12
miniUI	0.1.1.1	ModelMetrics	1.2.2.2	modelr	0.1.9
孟塞尔	0.5.0	nlme	-160 - 3.1	nnet	-18 - 7.3
numDeriv	2016.8 - -1.1	openssl	2.0.4	平行	4.2.2
平行	1.32.1	支柱	1.8.1	pkgbuild	1.3.1
pkgconfig	2.0.3	pkgdown	2.0.6	pkgload	1.3.1
plogr	0.2.0	plyr	1.8.7	赞美	1.0.0
prettyunits	1.1.1	pROC	1.18.0	processx	3.8.0
prodlim	2019.11.13	profvis	0.3.7	进步	1.2.2
progressr	0.11.0	承诺	1.2.0.1	原型	1.0.0
代理	-27 - 0.4	ps	1.7.2	purrr	0.3.5
r2d3	0.2.6虽然只是	R6	2.5.1	ragg	1.2.4
randomForest	4.7 - -1.1	rappdirs	0.3.3	rcmdcheck	1.4.0
RColorBrewer	1.1 - 3	Rcpp	1.0.9	RcppEigen	0.3.3.9.3
readr	2.1.3	readxl	1.4.1	食谱	1.0.3
复赛	1.0.1	rematch2	2.1.2	遥控器	2.4.2
reprex	2.0.2	reshape2	1.4.4	rlang	1.0.6
rmarkdown	2.18	RODBC	-19 - 1.3	roxygen2	7.2.1
rpart	4.1.19	rprojroot	2.0.3	Rserve	-11 - 1.8
RSQLite	2.2.18	rstudioapi	0.14	rversions	2.1.2
房车	1.0.3	萨斯	0.4.2	尺度	1.2.1 "
selectr	0.4 - 2	sessioninfo	1.2.2	形状	1.4.6
闪亮的	1.7.3	sourcetools	0.1.7	sparklyr	1.7.8
SparkR	3.3.1	空间	-11 - 7.3	样条函数	4.2.2
sqldf	-11 - 0.4	SQUAREM	2021.1	统计数据	4.2.2
stats4	4.2.2	stringi	1.7.8	stringr	1.4.1
生存	3.4 0	sys	3.4.1	systemfonts	1.0.4
tcltk	4.2.2	testthat	3.1.5	textshaping	0.3.6
宠物猫	3.1.8中	tidyr	1.2.1 "	tidyselect	1.2.0
tidyverse	1.3.2	timechange	0.1.1	timeDate	4021.106
tinytex	0.42	工具	4.2.2	tzdb	0.3.0
urlchecker	1.0.1	usethis	2.1.6	use utf8	1.2.2
跑龙套	4.2.2	uuid	1.1 0	vctrs	0.5.0
viridisLite	0.4.1	发呜呜声	1.6.0	沃尔多	0.4.0
晶须	0.4	withr	2.5.0	xfun	0.34
xml2	1.3.3	xopen	1.0.0	xtable	1.8 - 4
yaml	2.3.6	邮政编码	2.2.2

安装Java和Scala库(Scala 2.12集群版本)

组ID	工件ID	版本
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.12.189
com.amazonaws	aws-java-sdk-cloudformation	1.12.189
com.amazonaws	aws-java-sdk-cloudfront	1.12.189
com.amazonaws	aws-java-sdk-cloudhsm	1.12.189
com.amazonaws	aws-java-sdk-cloudsearch	1.12.189
com.amazonaws	aws-java-sdk-cloudtrail	1.12.189
com.amazonaws	aws-java-sdk-cloudwatch	1.12.189
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.12.189
com.amazonaws	aws-java-sdk-codedeploy	1.12.189
com.amazonaws	aws-java-sdk-cognitoidentity	1.12.189
com.amazonaws	aws-java-sdk-cognitosync	1.12.189
com.amazonaws	aws-java-sdk-config	1.12.189
com.amazonaws	aws-java-sdk-core	1.12.189
com.amazonaws	aws-java-sdk-datapipeline	1.12.189
com.amazonaws	aws-java-sdk-directconnect	1.12.189
com.amazonaws	aws-java-sdk-directory	1.12.189
com.amazonaws	aws-java-sdk-dynamodb	1.12.189
com.amazonaws	aws-java-sdk-ec2	1.12.189
com.amazonaws	aws-java-sdk-ecs	1.12.189
com.amazonaws	aws-java-sdk-efs	1.12.189
com.amazonaws	aws-java-sdk-elasticache	1.12.189
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.12.189
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.12.189
com.amazonaws	aws-java-sdk-elastictranscoder	1.12.189
com.amazonaws	aws-java-sdk-emr	1.12.189
com.amazonaws	aws-java-sdk-glacier	1.12.189
com.amazonaws	aws-java-sdk-glue	1.12.189
com.amazonaws	aws-java-sdk-iam	1.12.189
com.amazonaws	aws-java-sdk-importexport	1.12.189
com.amazonaws	aws-java-sdk-kinesis	1.12.189
com.amazonaws	aws-java-sdk-kms	1.12.189
com.amazonaws	aws-java-sdk-lambda	1.12.189
com.amazonaws	aws-java-sdk-logs	1.12.189
com.amazonaws	aws-java-sdk-machinelearning	1.12.189
com.amazonaws	aws-java-sdk-opsworks	1.12.189
com.amazonaws	aws-java-sdk-rds	1.12.189
com.amazonaws	aws-java-sdk-redshift	1.12.189
com.amazonaws	aws-java-sdk-route53	1.12.189
com.amazonaws	aws-java-sdk-s3	1.12.189
com.amazonaws	aws-java-sdk-ses	1.12.189
com.amazonaws	aws-java-sdk-simpledb	1.12.189
com.amazonaws	aws-java-sdk-simpleworkflow	1.12.189
com.amazonaws	aws-java-sdk-sns	1.12.189
com.amazonaws	aws-java-sdk-sqs	1.12.189
com.amazonaws	aws-java-sdk-ssm	1.12.189
com.amazonaws	aws-java-sdk-storagegateway	1.12.189
com.amazonaws	aws-java-sdk-sts	1.12.189
com.amazonaws	aws-java-sdk-support	1.12.189
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.12.189
com.amazonaws	jmespath-java	1.12.189
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	流	2.9.6
com.databricks	Rserve	1.8 - 3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	同学	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.13.4
com.fasterxml.jackson.core	jackson-core	2.13.4
com.fasterxml.jackson.core	jackson-databind	2.13.4.2
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.13.4
com.fasterxml.jackson.datatype	jackson-datatype-jsr310	2.13.4
com.fasterxml.jackson.module	jackson-module-paranamer	2.13.4
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.13.4
com.github.ben-manes.caffeine	咖啡因	2.3.4
com.github.fommil	jniloader	1．1
com.github.fommil.netlib	核心	1.1.2
com.github.fommil.netlib	native_ref-java	1．1
com.github.fommil.netlib	native_ref-java-natives	1．1
com.github.fommil.netlib	native_system-java	1．1
com.github.fommil.netlib	native_system-java-natives	1．1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1．1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1．1
com.github.luben	zstd-jni	1.5.2-1
com.github.wendykierp	JTransforms	3．1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.8.6
com.google.crypto.tink	叮叮铃	1.6.1
com.google.flatbuffers	flatbuffers-java	1.12.0
com.google.guava	番石榴	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	2.0.204
com.helger	分析器	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1．1
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1．8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.10.0
com.twitter	chill_2.12	0.10.0
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	配置	1.2.1 "
com.typesafe.scala-logging	scala-logging_2.12	3.7.2章
com.uber	h3	3.7.0
com.univocity	univocity-parsers	2.9.1
com.zaxxer	HikariCP	4.0.3
commons-cli	commons-cli	1.5.0
commons-codec	commons-codec	1.15
commons-collections	commons-collections	3.2.2
commons-dbcp	commons-dbcp	1．4
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3．1
commons-io	commons-io	2.11.0
commons lang	commons lang	2.6
通用日志	通用日志	1.1.3
commons-pool	commons-pool	1.5.4
dev.ludovic.netlib	arpack	2.2.1
dev.ludovic.netlib	布拉斯特区	2.2.1
dev.ludovic.netlib	lapack	2.2.1
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.21
io.delta	delta-sharing-spark_2.12	0.5.2
io.dropwizard.metrics	metrics-core	以下4.4.1
io.dropwizard.metrics	metrics-graphite	以下4.4.1
io.dropwizard.metrics	metrics-healthchecks	以下4.4.1
io.dropwizard.metrics	metrics-jetty9	以下4.4.1
io.dropwizard.metrics	metrics-jmx	以下4.4.1
io.dropwizard.metrics	metrics-json	以下4.4.1
io.dropwizard.metrics	metrics-jvm	以下4.4.1
io.dropwizard.metrics	metrics-servlets	以下4.4.1
io.netty	netty-all	4.1.74.Final
io.netty	netty-buffer	4.1.74.Final
io.netty	netty-codec	4.1.74.Final
io.netty	netty-common	4.1.74.Final
io.netty	netty-handler	4.1.74.Final
io.netty	netty-resolver	4.1.74.Final
io.netty	netty-tcnative-classes	2.0.48.Final
io.netty	netty-transport	4.1.74.Final
io.netty	netty-transport-classes-epoll	4.1.74.Final
io.netty	netty-transport-classes-kqueue	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-aarch_64	4.1.74.Final
io.netty	netty-transport-native-epoll-linux-x86_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-aarch_64	4.1.74.Final
io.netty	netty-transport-native-kqueue-osx-x86_64	4.1.74.Final
io.netty	netty-transport-native-unix-common	4.1.74.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	收集器	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.servlet	jakarta.servlet-api	4.0.3
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	激活	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo api	3.0.1
javax.transaction	jta	1．1
javax.transaction	事务api	1．1
javax.xml.bind	jaxb-api	. 2.2.11
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.13
net.java.dev.jna	jna	5.8.0
net.razorvine	泡菜	1．2
net.sf.jpam	jpam	1．1
net.sf.opencsv	opencsv	2．3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.13.22
net.sourceforge.f2j	arpack_combined_all	0．1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8
org.antlr	stringtemplate	3.2.1之上
org.apache.ant	蚂蚁	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	7.0.0
org.apache.arrow	arrow-memory-core	7.0.0
org.apache.arrow	arrow-memory-netty	7.0.0
org.apache.arrow	arrow-vector	7.0.0
org.apache.avro	avro	1.11.0
org.apache.avro	avro-ipc	1.11.0
org.apache.avro	avro-mapred	1.11.0
org.apache.commons	commons-collections4	4.4
org.apache.commons	commons-compress	1.21
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.12.0
org.apache.commons	commons-math3	3.6.1
org.apache.commons	commons-text	1.10.0
org.apache.curator	curator-client	2.13.0
org.apache.curator	curator-framework	2.13.0
org.apache.curator	curator-recipes	2.13.0
org.apache.derby	德比	10.14.2.0
org.apache.hadoop	hadoop-client-api	3.3.4-databricks
org.apache.hadoop	hadoop-client-runtime	3.3.4
org.apache.hive	hive-beeline	2.3.9
org.apache.hive	hive-cli	2.3.9
org.apache.hive	hive-jdbc	2.3.9
org.apache.hive	hive-llap-client	2.3.9
org.apache.hive	hive-llap-common	2.3.9
org.apache.hive	hive-serde	2.3.9
org.apache.hive	hive-shims	2.3.9
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive.shims	蜂巢0.23 -垫片	2.3.9
org.apache.hive.shims	hive-shims-common	2.3.9
org.apache.hive.shims	hive-shims-scheduler	2.3.9
org.apache.httpcomponents	httpclient	4.5.13
org.apache.httpcomponents	httpcore	4.4.14
org.apache.ivy	艾薇	2.5.0
org.apache.logging.log4j	log4j - 1.2 api	2.18.0
org.apache.logging.log4j	log4j api	2.18.0
org.apache.logging.log4j	log4j-core	2.18.0
org.apache.logging.log4j	log4j-slf4j-impl	2.18.0
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.7.6
org.apache.orc	orc-mapreduce	1.7.6
org.apache.orc	orc-shims	1.7.6
org.apache.parquet	parquet-column	1.12.3-databricks-0001
org.apache.parquet	parquet-common	1.12.3-databricks-0001
org.apache.parquet	parquet-encoding	1.12.3-databricks-0001
org.apache.parquet	parquet-format-structures	1.12.3-databricks-0001
org.apache.parquet	parquet-hadoop	1.12.3-databricks-0001
org.apache.parquet	parquet-jackson	1.12.3-databricks-0001
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.xbean	xbean-asm9-shaded	4.20
org.apache.yetus	audience-annotations	0.13.0
org.apache.zookeeper	动物园管理员	操作
org.apache.zookeeper	zookeeper-jute	操作
org.checkerframework	checker-qual	3.5.0
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.46.v20220331
org.eclipse.jetty	jetty-continuation	9.4.46.v20220331
org.eclipse.jetty	jetty-http	9.4.46.v20220331
org.eclipse.jetty	jetty-io	9.4.46.v20220331
org.eclipse.jetty	jetty-jndi	9.4.46.v20220331
org.eclipse.jetty	jetty-plus	9.4.46.v20220331
org.eclipse.jetty	jetty-proxy	9.4.46.v20220331
org.eclipse.jetty	jetty-security	9.4.46.v20220331
org.eclipse.jetty	jetty服务器	9.4.46.v20220331
org.eclipse.jetty	jetty servlet	9.4.46.v20220331
org.eclipse.jetty	jetty-servlets	9.4.46.v20220331
org.eclipse.jetty	jetty-util	9.4.46.v20220331
org.eclipse.jetty	jetty-util-ajax	9.4.46.v20220331
org.eclipse.jetty	jetty-webapp	9.4.46.v20220331
org.eclipse.jetty	jetty-xml	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-api	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-client	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-common	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket服务器	9.4.46.v20220331
org.eclipse.jetty.websocket	websocket-servlet	9.4.46.v20220331
org.fusesource.leveldbjni	leveldbjni-all	1．8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.36
org.glassfish.jersey.containers	jersey-container-servlet-core	2.36
org.glassfish.jersey.core	jersey客户端	2.36
org.glassfish.jersey.core	jersey-common	2.36
org.glassfish.jersey.core	jersey-server	2.36
org.glassfish.jersey.inject	jersey-hk2	2.36
org.hibernate.validator	hibernate验证框架	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.jetbrains	注释	17.0.0
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M11
org.json4s	json4s-core_2.12	3.7.0-M11
org.json4s	json4s-jackson_2.12	3.7.0-M11
org.json4s	json4s-scalap_2.12	3.7.0-M11
org.lz4	lz4-java	1.8.0
org.mariadb.jdbc	mariadb-java-client	第2.7.4
org.mlflow	mlflow-spark	1.27.0
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.3.3
org.roaringbitmap	RoaringBitmap	0.9.25
org.roaringbitmap	垫片	0.9.25
org.rocksdb	rocksdbjni	6.24.2
org.rosuda.REngine	REngine	魅惑
org.scala-lang	scala-compiler_2.12	2.12.14
org.scala-lang	scala-library_2.12	2.12.14
org.scala-lang	scala-reflect_2.12	2.12.14
org.scala-lang.modules	scala-collection-compat_2.12	2.4.3
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	测试界面	1．0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1．2
org.scalanlp	breeze_2.12	1．2
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.36
org.slf4j	jul-to-slf4j	1.7.36
org.slf4j	slf4j-api	1.7.36
org.spark-project.spark	未使用的	1.0.0
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1．8
org.typelevel	algebra_2.12	2.0.1
org.typelevel	cats-kernel_2.12	2.1.1
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0
org.typelevel	spire-bob体育客户端下载platform_2.12	0.17.0
org.typelevel	spire-util_2.12	0.17.0
org.typelevel	spire_2.12	0.17.0
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.4
org.yaml	snakeyaml	1.24
奥罗	奥罗	2.0.8
pl.edu.icm	JLargeArrays	1．5
software.amazon.ion	ion-java	1.0.2中
stax	stax-api	1.0.1