Databricks Runtime 8.0(不支持)

Databricks于2021年3月发布了这张图片。

以下发布说明提供了Databricks Runtime 8.0的相关信息，该版本由Apache Spark 3.1.1提供支持。

新功能

Databricks Runtime 8.0包含Apache Spark 3.1.1。详细信息请参见Apache火花．

改进

当没有指定格式时，Delta现在是默认格式

Databricks Runtime 8.0将默认格式更改为δ使创建Delta表更简单。使用SQL命令创建表时，或{数据集| DataFrame},{读| readStream | |写用writeTo | writeStream}api，并且不指定格式，默认格式为δ．

使用Delta Lake，您可以获得比Parquet更好的性能，通过丰富的模式验证、质量约束和事务保证获得更好的数据可靠性。使用Delta Lake，您可以在单个数据源上通过统一的结构化流和批处理简化数据管道。

虽然Databricks建议使用Delta Lake存储数据，但您可能有遗留工作流需要迁移到Delta Lake。有关迁移现有工作流的信息，请参见三角洲湖是什么?．

新的结构化流默认触发间隔降低了成本

如果不设置触发间隔使用触发器。ProcessingTime在流查询中，间隔设置为500毫秒。以前，默认的间隔是0毫秒。这一更改应该会减少空触发器的数量，并降低云存储的成本(如列表)。

使用Glue数据目录作为Databricks运行时的metastore时的优化

这个版本通过在Hive初始化时禁用数据库函数的自动加载，将AWS Glue Data Catalog优化为Databricks Runtime metastore。控件可以控制函数的加载spark.databricks.hive.metastore.init.reloadFunctions.enabled配置参数。此参数默认为假当使用Glue Data Catalog作为metastore时，禁用自动加载函数。将此参数设置为真正的将在Hive初始化时重新启用函数加载。

使用凭据传递的LDA转换函数(公开预览)

现在可以在配置为使用凭据传递进行身份验证的集群上使用LDA转换功能。

配置了凭据传递的单个用户集群不再需要可信的文件系统(公开预览)

在使用为单个用户的凭据传递而配置的标准或作业集群时，不再需要将本地文件系统配置为受信任的文件系统。当在单个用户集群上运行作业时，此更改删除了不必要的文件系统限制。

库升级

升级了几个Java和Scala库。看到安装Java和Scala库(Scala 2.12集群版本)．
将Python升级到3.8.6。
升级了几个已安装的Python库。看到已安装的Python库．
升级R到4.0.3。
升级了几个已安装的R库。看到已安装的R库．

Apache火花

Databricks Runtime 8.0包含Apache Spark 3.1.1。

本节:

Core和Spark SQL

突出

统一创建表SQL语法(火星- 31257）
洗牌哈希连接改进(火星- 32461）
增强的子表达式消除(火星- 33092，火星- 33337，火星- 33427，火星- 33540）
Kubernetes GA (火星- 33005）

ANSI SQL兼容性增强

支持char/varchar数据类型(火星- 33480）
ANSI模式:运行时错误而不是返回null (火星- 33275）
ANSI模式:新的显式强制转换语法规则(火星- 33354）
添加SQL标准命令集时间区（火星- 32272）
统一创建表SQL语法(火星- 31257）
统一临时视图和永久视图行为(火星- 33138）
支持列列表插入语句(火星- 32976）
支持ANSI嵌套括号注释(火星- 28880）

性能增强

不使用shuffle服务的主机本地shuffle数据读取(火星- 32077）
在重新划分节点之前删除冗余排序(火星- 32276）
部分下推谓词(火星- 32302，火星- 32352）
通过expand (火星- 33302）
通过CNF转换通过Join推送更多可能的谓词(火星- 31705）
通过保留广播散列连接的输出分区(火星- 31869）
通过改进重新排序连接键(火星- 32282）
通过规范化输出分区和sortorder (火星- 33399）
洗牌哈希连接改进(火星- 32461）
- 保留打乱的哈希连接构建侧分区(火星- 32330）
- 保留哈希连接(BHJ和SHJ)流侧排序(火星- 32383）
- 合并桶状表进行排序合并连接(火星- 32286）
- 为洗牌散列连接添加代码生成(火星- 32421）
- 支持完全外部连接在洗牌哈希连接(火星- 32399）
用全阶段编码原支持项目中的子表达式消除(火星- 33092）
支持条件表达式中的子表达式消除(火星- 33337）
支持子表达式消除，用于解释表达式求值(火星- 33427）
支持已解释谓词的子表达式消除(火星- 33540）
其他优化器规则
- 规则ExtractSingleColumnNullAwareAntiJoin（火星- 32290）
- 规则EliminateNullAwareAntiJoin（火星- 32573）
- 规则EliminateAggregateFilter（火星- 32540）
- 规则UnwrapCastInBinaryComparison（火星- 32858）
- 规则DisableUnnecessaryBucketedScan（火星- 32859）
- 规则CoalesceBucketsInJoin（火星- 31350）
- 从没有项目的生成中删除不必要的嵌套字段(火星- 29721）
- 从聚合中删除不必要的嵌套字段并展开(火星- 27217）
- 从按表达式重新分区和连接(火星- 31736）
- 修剪不必要的嵌套字段的外观变化(火星- 32163）
- 删除窗口中不必要的嵌套字段并排序(火星- 32059）
- 优化CreateArray/ creatatemap的大小为其子节点的大小(火星- 33544）

可扩展性增强

添加SupportsPartitionsDataSourceV2上的APIs (火星- 31694）
添加SupportsMetadataColumnsDataSourceV2上的API (火星- 31255）
使SQL缓存序列化可插拔(火星- 32274）
介绍了清洗选项TableCatalog.dropTable对于v2目录(火星- 33364）

连接器的增强

Hive Metastore分区滤波器下推改进(火星- 33537）
- 支持包含、以开始和以结束筛选器(火星- 33458）
- 支持按日期类型筛选(火星- 33477）
- 支持not-equals过滤器(火星- 33582）
拼花
- 在Parquet中允许在map的键类型中使用复杂类型(火星- 32639）
- 允许保存和加载INT96在Parquet没有重基(火星- 33160）
兽人
- ORC的嵌套列谓词下推(火星- 25557）
- 升级Apache ORC至1.5.12 (火星- 33050）
CSV
- 在CSV模式推断期间利用SQL文本数据源(火星- 32270）
JSON
- 支持过滤器下推JSON数据源(火星- 30648）
JDBC
- 为JDBC实现目录api (火星- 32375，火星- 32579，火星- 32402，火星- 33130）
- 创建JDBC身份验证提供程序开发人员API (火星- 32001）
- 添加JDBC连接提供程序禁用可能性(火星- 32047）
Avro
- 在Avro数据源中支持过滤器下推(火星- 32346）

功能增强

节点退役(火星- 20624）
- 基本架构(火星- 20628）
- 在退役期间迁移RDD块(火星- 20732）
- 作为动态扩展的一部分，合理的退役(火星- 31198）
- 在退役期间迁移shuffle块(火星- 20629）
- 仅在任务和块迁移完成时退出executor (火星- 31197）
- 在退役期间支持备用存储(火星- 33545）
新的内置函数
- json_array_length (火星- 31008）
- json_object_keys (火星- 31009）
- current_catalog (火星- 30352）
- Timestamp_seconds, timestamp_millis, timestamp_micros (火星- 31710）
- width_bucket (火星- 21117）
- regexp_extract_all (火星- 24884）
- nth_value (火星- 27951）
- raise_error (火星- 32793）
- Unix_seconds, unix_millis和unix_micros (火星- 33627）
- Date_from_unix_date和unix_date (火星- 33646）
- current_timezone (火星- 33469）
EXPLAIN命令增强(火星- 32337，火星- 31325）
提供一个选项来禁用用户提供的提示(火星- 31875）
支持Hive样式的REPLACE COLUMNS语法(火星- 30613）
支持就像任何和就像所有操作符(火星- 30724）
支持无限匹配和不匹配在合并成（火星- 32030）
支持F-加后缀的浮点字面值(火星- 32207）
支持重置重置单个配置的语法(火星- 32406）
支持过滤表达式，允许同时使用截然不同的（火星- 30276）
支持修改表添加/删除分区命令DSv2火星- 32512）
支持不在嵌套内的子查询或条件(火星- 25154）
支持刷新函数命令(火星- 31999）
添加sameSemantics和sementicHash方法在数据集(火星- 30791）
在UDF中支持组合类型的案例类(火星- 31826）
支持编码器中的枚举(火星- 32585）
支持嵌套字段apiwithField和dropFields（火星- 31317，火星- 32511）
支持为中缺失的列填充空值unionByName（火星- 29358）
支持DataFrameReader.table要使用指定的选项(火星- 32592，火星- 32844）
支持HDFS定位spark.sql.hive.metastore.jars（火星- 32852）
支持——档案期权本身(火星- 33530，火星- 33615）
增强ExecutorPlugin包括任务开始和结束事件方法的API (火星- 33088）

其他显著变化

在Spark docs站点中提供搜索功能(火星- 33166）
将Apache Arrow升级至2.0.0 (火星- 33213）
在节俭服务器中启用java8时间API (火星- 31910）
在udf中启用java8时间API (火星- 32154）
带小数的总和溢出检查(火星- 28067）
修复动态分区覆盖模式下的提交冲突(火星- 27194，火星- 29302）
删除了对slave、黑名单和白名单的引用(火星- 32004，火星- 32036，火星- 32037）
删除shuffle map阶段的任务结果大小检查(火星- 32470）
概括ExecutorSource公开用户给定的文件系统模式(火星- 33476）
添加StorageLevel。DISK_ONLY_3（火星- 32517）
在执行程序的web UI中公开执行程序内存指标(火星- 23432）
在Stages选项卡中公开阶段级别的执行程序内存指标(火星- 26341）
修复显式的spark.ui.port在YARN集群模式下(火星- 29465）
添加spark.submit.waitForCompletion配置控制独立集群模式下的spark-submit退出(火星- 31486）
设置纱线。客户端打印到驱动程序stdout/stderr的直接链接(火星- 33185）
修复内存泄漏时，未能存储广播片段(火星- 32715）
使BlockManagerMaster驱动程序心跳超时可配置(火星- 34278）
统一和完善缓存行为(火星- 33507）

行为的改变

请参阅每个组件的迁移指南:火花的核心和火花SQL．

PySpark

项目禅

禅计划:提高Python的可用性(火星- 32082）
PySpark类型提示支持(火星- 32681）
重新设计PySpark文档(火星- 31851）
迁移到NumPy文档样式(火星- 32085）
PyPI用户的安装选项(火星- 32017）
不弃用从dict列表中推断DataFrame模式(火星- 32686）
简化来自Python udf的异常消息(火星- 33407）

其他显著变化

重复删除确定性PythonUDF调用(火星- 33303）
支持PySpark函数中的高阶函数(火星- 30681）
支持数据源v2x写api (火星- 29157）
支持percentile_approx在PySpark函数中(火星- 30569）
支持inputFiles在PySpark DataFrame (火星- 31763）
支持withField在PySpark列(火星- 32835）
支持dropFields在PySpark列(火星- 32511）
支持nth_value在PySpark函数中(火星- 33020）
支持作用是，的作用和atanh（火星- 33563）
支持getCheckpointDir方法:火星- 33017）
支持为中缺失的列填充空值unionByName（火星- 32798）
更新cloudpickle到v1.5.0 (火星- 32094）
添加MapType支持PySpark与Arrow (火星- 24554）
DataStreamReader.table和DataStreamWriter.toTable（火星- 33836）

行为的改变

参见[PySpark]的迁移指南https://spark.apache.org/docs/3.1.1/pyspark-migration-guide.html）.

结构化流

性能增强

缓存获取的文件列表超出maxFilesPerTrigger作为未读文件(火星- 30866）
简化文件流源和接收器元数据日志的逻辑(火星- 30462）
如果查询从紧凑批处理中重新启动，则避免读取紧凑元数据日志两次(火星- 30900）

功能增强

添加DataStreamReader.tableAPI (火星- 32885）
添加DataStreamWriter.toTableAPI (火星- 32896）
左半流-流连接(火星- 32862）
完整的外部流-流连接(火星- 32863）
提供一个保留输出文件的新选项(火星- 27188）
添加Spark结构化流媒体历史服务器支持(火星- 31953）
在查询重启之间引入状态模式验证(火星- 27237）

其他显著变化

为流状态存储引入模式验证(火星- 31894）
支持在状态存储中使用不同的压缩编解码器(火星- 33263）
Kafka连接器无限等待，因为元数据从未更新(火星- 28367）
升级Kafka至2.6.0 (火星- 32568）
结构化流UI页面的分页支持(火星- 31642，火星- 30119）
结构化流UI中的状态信息(火星- 33223）
结构化流UI中的水印间隙信息(火星- 33224）
在SS UI上公开状态自定义度量信息(火星- 33287）
添加一个新的度量，关于水印之后的行数(火星- 24634）

行为的改变

参见迁移指南结构化流．

MLlib

突出了

线性svc阻塞输入向量(火星- 30642）
LogisticRegression块化输入向量(火星- 30659）
线性回归块化输入向量(火星- 30660）
AFT阻塞输入向量(火星- 31656）
在ML中添加对关联规则的支持(火星- 19939）
为线性svcmodel增加训练总结(火星- 20249）
为RandomForestClassificationModel添加摘要火星- 23631）
添加训练总结到FMClassificationModel (火星- 32140）
为MultilayerPerceptronClassificationModel添加摘要(火星- 32449）
添加FMClassifier到SparkR (火星- 30820）
添加SparkR线性回归包装器(火星- 30818）
将FMRegressor包装器添加到SparkR (火星- 30819）
为添加SparkR包装器vector_to_array（火星- 33040）
自适应阻塞实例-线性svc (火星- 32907）
make CrossValidator/TrainValidateSplit/OneVsRest Reader/Writer支持Python后端估计器/求值器(火星- 33520）
GEMV改善ML ALS的性能(推荐使用)火星- 33518）
添加单变量featureselector (火星- 34080）

其他显著变化

GMM在一个作业中计算汇总和更新分布(火星- 31032）
移除mllib上的ChiSqSelector依赖项。ChiSqSelectorModel (火星- 31077）
平化testChiSquare中的测试结果数据框架(火星- 31301）
MinHash keyDistance优化(火星- 31436）
基于三角不等式的KMeans优化(火星- 31007）
在ClusteringEvaluator中添加权重支持(火星- 31734）
在评估器中添加getMetrics (火星- 31768）
在LinearRegressionSummary中添加实例权重支持(火星- 31944）
将用户指定的折叠列添加到CrossValidator (火星- 31777）
ML参数在特性和调优中的默认值校验(火星- 32310）
修复了KMeans/BiKMeans中的双缓存(火星- 32676）
尾部变换优化(火星- 33111）
feature hash变换优化(火星- 32974）
为dataframe列添加array_to_vector函数(火星- 33556）
ML参数在分类，回归，聚类和fpm中的默认值校验(火星- 32310）
总结。totaliteration大于maxisters (火星- 31925）
树模型预测优化(火星- 32298）

行为的改变

参见迁移指南MLlib．

SparkR

为更高阶函数添加SparkR接口(火星- 30682）
支持为unionByName (火星- 32798）
在SparkR函数中支持withColumn (火星- 32946）
在SparkR函数中支持timestamp_seconds (火星- 32949）
在SparkR函数中支持nth_value (火星- 33030）
最小箭头版本上升到1.0.0 (火星- 32452）
支持SparkR函数中的array_to_vector (火星- 33622）
支持acosh, asinh和atanh (火星- 33563）
支持from_avro和to_avro (火星- 33304）

行为的改变

参见迁移指南SparkR (R on Spark)．

GraphX

编程指南:GraphX编程指南．

维护更新

看到Databricks Runtime 8.0维护更新．

系统环境

操作系统: Ubuntu 18.04.5 LTS
Java: Zulu 8.50.0.51-CA-linux64 (build 1.8.0_275-b01)
Scala: 2.12.10
Python: 3.8.8(由2021年5月26日维护更新的3.8.6更新)
R: R版本4.0.3 (2020-10-10)
三角洲湖0.8.0

已安装的Python库

图书馆	版本	图书馆	版本	图书馆	版本
appdirs	1.4.4	asn1crypto	1.4.0	backcall	0.2.0
boto3	1.16.7	botocore	1.19.7	brotlipy	0.7.0
certifi	2020.12.5	cffi	1.14.3	chardet	3.0.4
密码学	3.1.1	周期计	0.10.0	Cython	0.29.21
装饰	10/24/11	distlib	0.3.1	docutils	0.15.2
entrypoints	0.3	filelock	3.0.12	idna	2.10
ipykernel	5.3.4	ipython	7.19.0	ipython-genutils	0.2.0
绝地武士	0.17.2	jmespath	0.10.0	joblib	0.17.0
jupyter-client	6.1.7	jupyter-core	4.6.3	kiwisolver	1.3.0
考拉	1.5.0	matplotlib	3.2.2	numpy	1.19.2
熊猫	1.1.3	parso	0.7.0	容易受骗的人	0.5.1
pexpect	4.8.0	pickleshare	0.7.5	皮普	20.2.4
prompt-toolkit	3.0.8	psycopg2	2.8.5	ptyprocess	0.6.0
pyarrow	1.0.1	pycparser	2.20	Pygments	2.7.2
pyOpenSSL	19.1.0	pyparsing	2.4.7	PySocks	1.7.1上
python-dateutil	2.8.1发布	pytz	2020.1	pyzmq	19.0.2
请求	2.24.0	s3transfer	0.3.3	scikit-learn	0.23.2
scipy	1.5.2	seaborn	0.10.0	setuptools	50.3.1
六个	1.15.0	statsmodels	0.12.0	threadpoolctl	魅惑
龙卷风	6.0.4	traitlets	5.0.5	urllib3	1.25.11
virtualenv	20.2.1	wcwidth	0.2.5	轮	0.35.1

已安装的R库

R库从微软CRAN快照2020-11-02．

图书馆	版本	图书馆	版本	图书馆	版本
askpass	1.1	为了	0.2.1	补丁	1.2.1 "
基地	4.0.3	base64enc	0.1 - 3	黑洞	1.72.0-3
位	4.0.4	bit64	你	团	1.2.1 "
引导	-25 - 1.3	酿造	1.0 6	生动	1.1.0
扫帚	0.7.2	callr	3.5.1	脱字符号	-86 - 6.0
cellranger	1.1.0	时间	-56 - 2.3	类	-17 - 7.3
cli	2.2.0	clipr	是0.7.1	集群	魅惑
codetools	-18 - 0.2	色彩	2.0 0	commonmark	1.7
编译器	4.0.3	配置	0.3	covr	3.5.1
cpp11	0.2.4	蜡笔	1.3.4	凭证	1.3.0
相声	1.1.0.1	旋度	4.3	data.table	1.13.4
数据集	4.0.3	DBI	1.1.0	dbplyr	2.0.0
desc	1.2.0	devtools	2.3.2	diffobj	0.3.2
消化	0.6.27	dplyr	1.0.2中	DT	0.16
省略	0.3.1	评估	0.14	fansi	0.4.1
farver	2.0.3	fastmap	1.0.1	forcats	0.5.0
foreach	1.5.1	外国	-79 - 0.8	打造	0.2.0
fs	1.5.0	未来	1.21.0	泛型	0.1.0
哥特	1.0.2中	ggplot2	3.3.2	“大酒店”	1.2.0
gitcreds	0.1.1	glmnet	4.0 - 2	全局变量	0.14.0
胶水	1.4.2	高尔	0.2.2	图形	4.0.3
grDevices	4.0.3	网格	4.0.3	gridExtra	2.3
gsubfn	0.7	gtable	0.3.0	还	2.3.1
highr	0.8	hms	0.5.3	htmltools	0.5.0
htmlwidgets	1.5.3	httpuv	1.5.4	httr	1.4.2
hwriter	1.3.2	hwriterPlus	1.0 - 3	ini	0.3.1
不小	0.9 9	isoband	0.2.3	迭代器	1.0.13
jsonlite	1.7.2	KernSmooth	-18 - 2.23	knitr	1.30
标签	0.4.2	晚些时候	1.1.0.1	晶格	-41 - 0.20
熔岩	1.6.8.1	lazyeval	0.2.2	生命周期	0.2.0
listenv	0.8.0	lubridate	1.7.9.2	magrittr	2.0.1
减价	1.1	质量	-53 - 7.3	矩阵	-18 - 1.2
memoise	1.1.0	方法	4.0.3	mgcv	-33 - 1.8
mime	0.9	ModelMetrics	1.2.2.2	modelr	0.1.8
孟塞尔	0.5.0	nlme	-151 - 3.1	nnet	-14 - 7.3
numDeriv	2016.8 - -1.1	openssl	3	平行	4.0.3
平行	1.22.0	支柱	1.4.7	pkgbuild	1.1.0
pkgconfig	2.0.3	pkgload	1.1.0	plogr	0.2.0
plyr	1.8.6	赞美	1.0.0	prettyunits	1.1.1
pROC	1.16.2	processx	3.4.5	prodlim	2019.11.13
进步	1.2.2	承诺	1.1.1	原型	1.0.0
ps	1.5.0	purrr	0.3.4	r2d3	0.2.3
R6	2.5.0	randomForest	-14 - 4.6	rappdirs	0.3.1
rcmdcheck	1.3.3	RColorBrewer	1.1 - 2	Rcpp	1.0.5
readr	1.4.0	readxl	1.3.1	食谱	0.1.15
复赛	1.0.1	rematch2	2.1.2	遥控器	2.2.0
reprex	0.3.0	reshape2	1.4.4	雷克斯	1.2.0
rlang	0.4.9	rmarkdown	2.6	RODBC	-17 - 1.3
roxygen2	安装7.1.1	rpart	-15 - 4.1	rprojroot	2.0.2
Rserve	1.8 7	RSQLite	2.2.1	rstudioapi	0.13
rversions	2.0.2	房车	0.3.6	尺度	1.1.1
selectr	0.4 - 2	sessioninfo	1.1.1	形状	1.4.5
闪亮的	1.5.0	sourcetools	0.1.7	sparklyr	1.5.2
SparkR	3.1.0	空间	-11 - 7.3	样条函数	4.0.3
sqldf	-11 - 0.4	SQUAREM	2020.5	统计数据	4.0.3
stats4	4.0.3	stringi	1.5.3	stringr	1.4.0
生存	3.2 7	sys	3.4	tcltk	4.0.3
TeachingDemos	2.10	testthat	3.0.0	宠物猫	3.0.4
tidyr	1.1.2	tidyselect	1.1.0	tidyverse	1.3.0
timeDate	3043.102	tinytex	0.28	工具	4.0.3
usethis	2.0.0	use utf8	1.1.4	跑龙套	4.0.3
uuid	0.1 - 4	vctrs	0.3.5	viridisLite	0.3.0
沃尔多	0.2.3	晶须	0.4	withr	tripwire
xfun	0.19	xml2	1.3.2	xopen	1.0.0
xtable	1.8 - 4	yaml	2.2.1	邮政编码	2.1.1

安装Java和Scala库(Scala 2.12集群版本)

组ID	工件ID	版本
antlr	antlr	2.7.7
com.amazonaws	amazon-kinesis-client	1.12.0
com.amazonaws	aws-java-sdk-autoscaling	1.11.655
com.amazonaws	aws-java-sdk-cloudformation	1.11.655
com.amazonaws	aws-java-sdk-cloudfront	1.11.655
com.amazonaws	aws-java-sdk-cloudhsm	1.11.655
com.amazonaws	aws-java-sdk-cloudsearch	1.11.655
com.amazonaws	aws-java-sdk-cloudtrail	1.11.655
com.amazonaws	aws-java-sdk-cloudwatch	1.11.655
com.amazonaws	aws-java-sdk-cloudwatchmetrics	1.11.655
com.amazonaws	aws-java-sdk-codedeploy	1.11.655
com.amazonaws	aws-java-sdk-cognitoidentity	1.11.655
com.amazonaws	aws-java-sdk-cognitosync	1.11.655
com.amazonaws	aws-java-sdk-config	1.11.655
com.amazonaws	aws-java-sdk-core	1.11.655
com.amazonaws	aws-java-sdk-datapipeline	1.11.655
com.amazonaws	aws-java-sdk-directconnect	1.11.655
com.amazonaws	aws-java-sdk-directory	1.11.655
com.amazonaws	aws-java-sdk-dynamodb	1.11.655
com.amazonaws	aws-java-sdk-ec2	1.11.655
com.amazonaws	aws-java-sdk-ecs	1.11.655
com.amazonaws	aws-java-sdk-efs	1.11.655
com.amazonaws	aws-java-sdk-elasticache	1.11.655
com.amazonaws	aws-java-sdk-elasticbeanstalk	1.11.655
com.amazonaws	aws-java-sdk-elasticloadbalancing	1.11.655
com.amazonaws	aws-java-sdk-elastictranscoder	1.11.655
com.amazonaws	aws-java-sdk-emr	1.11.655
com.amazonaws	aws-java-sdk-glacier	1.11.655
com.amazonaws	aws-java-sdk-iam	1.11.655
com.amazonaws	aws-java-sdk-importexport	1.11.655
com.amazonaws	aws-java-sdk-kinesis	1.11.655
com.amazonaws	aws-java-sdk-kms	1.11.655
com.amazonaws	aws-java-sdk-lambda	1.11.655
com.amazonaws	aws-java-sdk-logs	1.11.655
com.amazonaws	aws-java-sdk-machinelearning	1.11.655
com.amazonaws	aws-java-sdk-opsworks	1.11.655
com.amazonaws	aws-java-sdk-rds	1.11.655
com.amazonaws	aws-java-sdk-redshift	1.11.655
com.amazonaws	aws-java-sdk-route53	1.11.655
com.amazonaws	aws-java-sdk-s3	1.11.655
com.amazonaws	aws-java-sdk-ses	1.11.655
com.amazonaws	aws-java-sdk-simpledb	1.11.655
com.amazonaws	aws-java-sdk-simpleworkflow	1.11.655
com.amazonaws	aws-java-sdk-sns	1.11.655
com.amazonaws	aws-java-sdk-sqs	1.11.655
com.amazonaws	aws-java-sdk-ssm	1.11.655
com.amazonaws	aws-java-sdk-storagegateway	1.11.655
com.amazonaws	aws-java-sdk-sts	1.11.655
com.amazonaws	aws-java-sdk-support	1.11.655
com.amazonaws	aws-java-sdk-swf-libraries	1.11.22
com.amazonaws	aws-java-sdk-workspaces	1.11.655
com.amazonaws	jmespath-java	1.11.655
com.chuusai	shapeless_2.12	2.3.3
com.clearspring.analytics	流	2.9.6
com.databricks	Rserve	1.8 - 3
com.databricks	jets3t	0.7.1-0
com.databricks.scalapb	compilerplugin_2.12	0.4.15-10
com.databricks.scalapb	scalapb-runtime_2.12	0.4.15-10
com.esotericsoftware	kryo-shaded	4.0.2
com.esotericsoftware	minlog	1.3.0
com.fasterxml	同学	1.3.4
com.fasterxml.jackson.core	jackson-annotations	2.10.0
com.fasterxml.jackson.core	jackson-core	2.10.0
com.fasterxml.jackson.core	jackson-databind	2.10.0
com.fasterxml.jackson.dataformat	jackson-dataformat-cbor	2.10.0
com.fasterxml.jackson.datatype	jackson-datatype-joda	2.10.0
com.fasterxml.jackson.module	jackson-module-paranamer	2.10.0
com.fasterxml.jackson.module	jackson-module-scala_2.12	2.10.0
com.github.ben-manes.caffeine	咖啡因	2.3.4
com.github.fommil	jniloader	1.1
com.github.fommil.netlib	核心	1.1.2
com.github.fommil.netlib	native_ref-java	1.1
com.github.fommil.netlib	native_ref-java-natives	1.1
com.github.fommil.netlib	native_system-java	1.1
com.github.fommil.netlib	native_system-java-natives	1.1
com.github.fommil.netlib	netlib-native_ref-linux-x86_64-natives	1.1
com.github.fommil.netlib	netlib-native_system-linux-x86_64-natives	1.1
com.github.joshelser	dropwizard-metrics-hadoop-metrics2-reporter	0.1.2
com.github.luben	zstd-jni	1.4.8-1
com.github.wendykierp	JTransforms	3.1
com.google.code.findbugs	jsr305	3.0.0
com.google.code.gson	gson	2.2.4
com.google.flatbuffers	flatbuffers-java	1.9.0
com.google.guava	番石榴	15.0
com.google.protobuf	protobuf-java	2.6.1
com.h2database	h2	1.4.195
com.helger	分析器	1.1.1
com.jcraft	jsch	0.1.50
com.jolbox	bonecp	0.8.0.RELEASE
com.lihaoyi	sourcecode_2.12	0.1.9
com.microsoft.sqlserver	mssql-jdbc	8.2.1.jre8
com.microsoft.azure	azure-data-lake-store-sdk	2.3.9
com.ning	compress-lzf	1.0.3
com.sun.mail	javax.mail	1.5.2
com.tdunning	json	1.8
com.thoughtworks.paranamer	paranamer	2.8
com.trueaccord.lenses	lenses_2.12	0.4.12
com.twitter	chill-java	0.9.5
com.twitter	chill_2.12	0.9.5
com.twitter	util-app_2.12	7.1.0
com.twitter	util-core_2.12	7.1.0
com.twitter	util-function_2.12	7.1.0
com.twitter	util-jvm_2.12	7.1.0
com.twitter	util-lint_2.12	7.1.0
com.twitter	util-registry_2.12	7.1.0
com.twitter	util-stats_2.12	7.1.0
com.typesafe	配置	1.2.1 "
com.typesafe.scala-logging	scala-logging_2.12	3.7.2章
com.univocity	univocity-parsers	2.9.0
com.zaxxer	HikariCP	3.1.0
commons-beanutils	commons-beanutils	1.9.4
commons-cli	commons-cli	1.2
commons-codec	commons-codec	1.10
commons-collections	commons-collections	3.2.2
commons configuration	commons configuration	1.6
commons-dbcp	commons-dbcp	1.4
commons-digester	commons-digester	1.8
commons-fileupload	commons-fileupload	1.3.3
commons-httpclient	commons-httpclient	3.1
commons-io	commons-io	2.4
commons lang	commons lang	2.6
通用日志	通用日志	1.1.3
commons net	commons net	3.1
commons-pool	commons-pool	1.5.4
info.ganglia.gmetric4j	gmetric4j	1.0.10
io.airlift	aircompressor	0.10
io.dropwizard.metrics	metrics-core	以下4.4.1
io.dropwizard.metrics	metrics-graphite	以下4.4.1
io.dropwizard.metrics	metrics-healthchecks	以下4.4.1
io.dropwizard.metrics	metrics-jetty9	以下4.4.1
io.dropwizard.metrics	metrics-jmx	以下4.4.1
io.dropwizard.metrics	metrics-json	以下4.4.1
io.dropwizard.metrics	metrics-jvm	以下4.4.1
io.dropwizard.metrics	metrics-servlets	以下4.4.1
io.netty	netty-all	4.1.51.Final
io.prometheus	simpleclient	0.7.0
io.prometheus	simpleclient_common	0.7.0
io.prometheus	simpleclient_dropwizard	0.7.0
io.prometheus	simpleclient_pushgateway	0.7.0
io.prometheus	simpleclient_servlet	0.7.0
io.prometheus.jmx	收集器	0.12.0
jakarta.annotation	jakarta.annotation-api	1.3.5
jakarta.validation	jakarta.validation-api	2.0.2
jakarta.ws.rs	jakarta.ws.rs-api	2.1.6
javax.activation	激活	1.1.1
javax.el	javax.el-api	2.2.4
javax.jdo	jdo api	3.0.1
javax.servlet	javax.servlet-api	3.1.0
javax.servlet.jsp	jsp-api	2.1
javax.transaction	jta	1.1
javax.transaction	事务api	1.1
javax.xml.bind	jaxb-api	2.2.2
javax.xml.stream	stax-api	1.0 - 2
javolution	javolution	5.5.1
jline	jline	2.14.6
joda-time	joda-time	2.10.5
log4j	apache-log4j-extras	1.2.17
log4j	log4j	1.2.17
net.razorvine	地幔岩	4.30
net.sf.jpam	jpam	1.1
net.sf.opencsv	opencsv	2.3
net.sf.supercsv	super-csv	2.2.0
net.snowflake	snowflake-ingest-sdk	0.9.6
net.snowflake	snowflake-jdbc	3.12.8
net.snowflake	spark-snowflake_2.12	2.8.1-spark_3.0
net.sourceforge.f2j	arpack_combined_all	0.1
org.acplt.remotetea	remotetea-oncrpc	1.1.2
org.antlr	ST4	4.0.4
org.antlr	antlr-runtime	3.5.2
org.antlr	antlr4-runtime	4.8 - 1
org.antlr	stringtemplate	3.2.1之上
org.apache.ant	蚂蚁	1.9.2
org.apache.ant	ant-jsch	1.9.2
org.apache.ant	ant-launcher	1.9.2
org.apache.arrow	arrow-format	2.0.0
org.apache.arrow	arrow-memory-core	2.0.0
org.apache.arrow	arrow-memory-netty	2.0.0
org.apache.arrow	arrow-vector	2.0.0
org.apache.avro	avro	1.8.2
org.apache.avro	avro-ipc	1.8.2
org.apache.avro	avro-mapred-hadoop2	1.8.2
org.apache.commons	commons-compress	1.20
org.apache.commons	commons-crypto	1.1.0
org.apache.commons	commons-lang3	3.10
org.apache.commons	commons-math3	3.4.1
org.apache.commons	commons-text	1.6
org.apache.curator	curator-client	2.7.1
org.apache.curator	curator-framework	2.7.1
org.apache.curator	curator-recipes	2.7.1
org.apache.derby	德比	10.12.1.1
org.apache.directory.api	api-asn1-api	1.0.0-M20
org.apache.directory.api	api-util	1.0.0-M20
org.apache.directory.server	apacheds-i18n	2.0.0-M15
org.apache.directory.server	apacheds-kerberos-codec	2.0.0-M15
org.apache.hadoop	hadoop-annotations	第2.7.4
org.apache.hadoop	hadoop-auth	第2.7.4
org.apache.hadoop	hadoop-client	第2.7.4
org.apache.hadoop	hadoop-common	第2.7.4
org.apache.hadoop	hadoop-hdfs	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-app	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-common	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-core	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-jobclient	第2.7.4
org.apache.hadoop	hadoop-mapreduce-client-shuffle	第2.7.4
org.apache.hadoop	hadoop-yarn-api	第2.7.4
org.apache.hadoop	hadoop-yarn-client	第2.7.4
org.apache.hadoop	hadoop-yarn-common	第2.7.4
org.apache.hadoop	hadoop-yarn-server-common	第2.7.4
org.apache.hive	hive-beeline	2.3.7
org.apache.hive	hive-cli	2.3.7
org.apache.hive	hive-common	2.3.7
org.apache.hive	hive-exec-core	2.3.7
org.apache.hive	hive-jdbc	2.3.7
org.apache.hive	hive-llap-client	2.3.7
org.apache.hive	hive-llap-common	2.3.7
org.apache.hive	hive-metastore	2.3.7
org.apache.hive	hive-serde	2.3.7
org.apache.hive	hive-shims	2.3.7
org.apache.hive	hive-storage-api	2.7.2
org.apache.hive	hive-vector-code-gen	2.3.7
org.apache.hive.shims	蜂巢0.23 -垫片	2.3.7
org.apache.hive.shims	hive-shims-common	2.3.7
org.apache.hive.shims	hive-shims-scheduler	2.3.7
org.apache.htrace	htrace-core	3.1.0-incubating
org.apache.httpcomponents	httpclient	4.5.6
org.apache.httpcomponents	httpcore	4.4.12
org.apache.ivy	艾薇	测试盒框
org.apache.mesos	mesos-shaded-protobuf	1.4.0
org.apache.orc	orc-core	1.5.12
org.apache.orc	orc-mapreduce	1.5.12
org.apache.orc	orc-shims	1.5.12
org.apache.parquet	parquet-column	1.10.1-databricks6
org.apache.parquet	parquet-common	1.10.1-databricks6
org.apache.parquet	parquet-encoding	1.10.1-databricks6
org.apache.parquet	parquet-format	测试盒框
org.apache.parquet	parquet-hadoop	1.10.1-databricks6
org.apache.parquet	parquet-jackson	1.10.1-databricks6
org.apache.thrift	libfb303	0.9.3
org.apache.thrift	libthrift	0.12.0
org.apache.velocity	速度	1.5
org.apache.xbean	xbean-asm7-shaded	4.15
org.apache.yetus	audience-annotations	0.5.0
org.apache.zookeeper	动物园管理员	3.4.14
org.codehaus.jackson	jackson-core-asl	1.9.13
org.codehaus.jackson	jackson-jaxrs	1.9.13
org.codehaus.jackson	jackson-mapper-asl	1.9.13
org.codehaus.jackson	jackson-xc	1.9.13
org.codehaus.janino	commons-compiler	3.0.16
org.codehaus.janino	janino	3.0.16
org.datanucleus	datanucleus-api-jdo	4.2.4
org.datanucleus	datanucleus-core	4.1.17
org.datanucleus	datanucleus-rdbms	4.1.19
org.datanucleus	javax.jdo	3.2.0-m3
org.eclipse.jetty	jetty-client	9.4.34.v20201102
org.eclipse.jetty	jetty-continuation	9.4.34.v20201102
org.eclipse.jetty	jetty-http	9.4.34.v20201102
org.eclipse.jetty	jetty-io	9.4.34.v20201102
org.eclipse.jetty	jetty-jndi	9.4.34.v20201102
org.eclipse.jetty	jetty-plus	9.4.34.v20201102
org.eclipse.jetty	jetty-proxy	9.4.34.v20201102
org.eclipse.jetty	jetty-security	9.4.34.v20201102
org.eclipse.jetty	jetty服务器	9.4.34.v20201102
org.eclipse.jetty	jetty servlet	9.4.34.v20201102
org.eclipse.jetty	jetty-servlets	9.4.34.v20201102
org.eclipse.jetty	jetty-util	9.4.34.v20201102
org.eclipse.jetty	jetty-webapp	9.4.34.v20201102
org.eclipse.jetty	jetty-xml	9.4.34.v20201102
org.fusesource.leveldbjni	leveldbjni-all	1.8
org.glassfish.hk2	hk2-api	2.6.1
org.glassfish.hk2	hk2-locator	2.6.1
org.glassfish.hk2	hk2-utils	2.6.1
org.glassfish.hk2	osgi-resource-locator	1.0.3
org.glassfish.hk2.external	aopalliance-repackaged	2.6.1
org.glassfish.hk2.external	jakarta.inject	2.6.1
org.glassfish.jersey.containers	jersey-container-servlet	2.30
org.glassfish.jersey.containers	jersey-container-servlet-core	2.30
org.glassfish.jersey.core	jersey客户端	2.30
org.glassfish.jersey.core	jersey-common	2.30
org.glassfish.jersey.core	jersey-server	2.30
org.glassfish.jersey.inject	jersey-hk2	2.30
org.glassfish.jersey.media	jersey-media-jaxb	2.30
org.hibernate.validator	hibernate验证框架	6.1.0.Final
org.javassist	javassist	3.25.0-GA
org.jboss.logging	jboss-logging	3.3.2.Final
org.jdbi	jdbi	2.63.1
org.joda	joda-convert	1.7
org.jodd	jodd-core	3.5.2
org.json4s	json4s-ast_2.12	3.7.0-M5
org.json4s	json4s-core_2.12	3.7.0-M5
org.json4s	json4s-jackson_2.12	3.7.0-M5
org.json4s	json4s-scalap_2.12	3.7.0-M5
org.lz4	lz4-java	1.7.1上
org.mariadb.jdbc	mariadb-java-client	2.1.2
org.objenesis	objenesis	2.5.1
org.postgresql	postgresql	42.1.4
org.roaringbitmap	RoaringBitmap	0.9.0
org.roaringbitmap	垫片	0.9.0
org.rocksdb	rocksdbjni	6.2.2
org.rosuda.REngine	REngine	魅惑
org.scala-lang	scala-compiler_2.12	2.12.10
org.scala-lang	scala-library_2.12	2.12.10
org.scala-lang	scala-reflect_2.12	2.12.10
org.scala-lang.modules	scala-collection-compat_2.12	2.1.1
org.scala-lang.modules	scala-parser-combinators_2.12	1.1.2
org.scala-lang.modules	scala-xml_2.12	1.2.0
org.scala-sbt	测试界面	1.0
org.scalacheck	scalacheck_2.12	1.14.2
org.scalactic	scalactic_2.12	3.0.8
org.scalanlp	breeze-macros_2.12	1.0
org.scalanlp	breeze_2.12	1.0
org.scalatest	scalatest_2.12	3.0.8
org.slf4j	jcl-over-slf4j	1.7.30
org.slf4j	jul-to-slf4j	1.7.30
org.slf4j	slf4j-api	1.7.30
org.slf4j	slf4j-log4j12	1.7.30
org.spark-project.spark	未使用的	1.0.0
org.springframework	spring核心	4.1.4.RELEASE
org.springframework	spring测试	4.1.4.RELEASE
org.threeten	threeten-extra	1.5.0
org.tukaani	xz	1.5
org.typelevel	algebra_2.12	2.0.0-M2
org.typelevel	cats-kernel_2.12	2.0.0-M4
org.typelevel	machinist_2.12	0.6.8
org.typelevel	macro-compat_2.12	1.1.1
org.typelevel	spire-macros_2.12	0.17.0-M1
org.typelevel	spire-bob体育客户端下载platform_2.12	0.17.0-M1
org.typelevel	spire-util_2.12	0.17.0-M1
org.typelevel	spire_2.12	0.17.0-M1
org.wildfly.openssl	wildfly-openssl	1.0.7.Final
org.xerial	sqlite-jdbc	3.8.11.2
org.xerial.snappy	snappy-java	1.1.8.2
org.yaml	snakeyaml	1.24
奥罗	奥罗	2.0.8
pl.edu.icm	JLargeArrays	1.5
software.amazon.ion	ion-java	1.0.2中
stax	stax-api	1.0.1
xmlenc	xmlenc	0.52