Databricks Runtime 10.1(不支持)
以下发布说明提供了Databricks Runtime 10.1和Databricks Runtime 10.1 Photon的信息，由Apache Spark 3.2.0提供支持。Databricks于2021年11月发布了这些图像。光子是在公共预览．
新功能和改进
压缩小文件的新增量表设置
Delta表属性delta.autoOptimize.autoCompact现在接受的新值汽车而且遗产除了现有的值真正的而且假．当设置为汽车(推荐)，Auto Compaction使用更好的默认值，比如将目标文件大小设置为32 MB(尽管默认行为在将来可能会改变)。当设置为遗产或真正的，自动压缩使用128 MB作为目标文件大小。
属性，而不是为单个表设置此属性spark.databricks.delta.autoCompact.enabled配置汽车，遗产,或真正的为所有Delta表启用自动压缩。在当前会话期间，此配置优先于相关的表属性。
方法可以控制自动压缩的目标文件大小spark.databricks.delta.autoCompact.maxFileSize配置。
触发器。用于Delta源流查询的AvailableNow
这个变化支持一种新的类型的触发器，用于Scala中的Delta源流查询:触发器。AvailableNow．就像触发器。一次，它会处理所有可用数据，然后停止查询。然而,触发器。AvailableNow提供更好的可伸缩性，因为数据可以在多个批次中处理而不是一个批次。这个变化并没有引入一个新的接口;它实现了一个现有的Spark API。此触发器还支持Delta作为源已经支持的所有速率限制选项。
例子:
火花．readStream．格式（“δ”）．选项（“maxFilesPerTrigger”，“1”）．负载（inputDir）．writeStream．触发（触发．AvailableNow）．选项（“checkpointLocation”，checkpointDir）．开始（）
参见触发器。AvailableNow在什么是自动加载器?．
触发器。AvailableNow for Auto Loader
触发器。AvailableNow新的流触发模式是否类似触发器。一次．触发器。一次处理所有可用数据，然后停止查询。触发器。AvailableNow具有更好的可伸缩性，因为数据可以多批处理，而不是一个。自动加载现在支持触发器。AvailableNow在Scala的目录列表和文件通知模式。参见触发器。AvailableNow在什么是自动加载器?．
Delta支持通过DataFrame选项传递的Hadoop文件系统配置
与Parquet类似，Delta现在支持读取Hadoop文件系统配置从DataFrameReader而且DataFrameWriter选项，当读取或写入表时，使用DataFrameReader.load(路径)或DataFrameWriter.save(路径)．看到为Delta Lake配置存储凭证．
有状态流作业现在支持异步状态检查点(公开预览)
异步状态检查点是一项新功能，它可以潜在地减少具有大状态更新的有状态流作业中的端到端微批延迟。看到结构化流的异步状态检查点．
Sparklyr凭据传递
现在可以使用sparklyr api通过凭据传递在云存储中读写数据。此功能仅限于具有单用户访问的标准集群。看到使用SCIM通过IAM凭据传递访问S3．
Databricks公用事业数据汇总精度控制(公开预览)
一个新的精确的参数dbutils.data.summarize控制汇总结果的精度。当精确的设置为false(默认值)时，摘要将返回不同计数、百分比和频繁项目计数的近似结果。当精确的设置为true时，将使用精确的不同计数和频繁项计数计算摘要，并使用更精确的百分比估计。看到汇总命令(dbutils.data. summary)．
Databricks实用程序凭证API为R
您现在可以使用dbutils.credentials在R笔记本中进行凭证传递。看到凭证实用程序(dbutils.credentials)．
Databricks笔记本现在可以与IPython内核一起使用
现在，您可以配置Databricks集群以使用IPython内核来执行Python代码。在Databricks上使用IPython内核增加了对IPython显示和输出工具的支持。此外，IPython内核捕获笔记本创建的子进程的stdout和stderr输出，允许该输出包含在笔记本的命令结果中。
有关更多信息，请参见IPython内核．
库升级
升级的Python库:
Filelock从3.0.12到3.3.1
考拉从1.8.1到1.8.2
从5.1.0绘制到5.3.0
升级的R库:
Bslib从0.3.0到0.3.1
插入从6.0-88到6.0-90
Cpp11从0.3.1到0.4.0
data.table从1．14.0 to 1.14.2
从1.3.0描述到1.4.0
Diffobj从0.3.4到0.3.5
摘要从0.6.27到0.6.28
泛型从0.1.0到0.1.1
HMS从1.1.0到1.1.1
针织衫从1.34到1.36
晶格从0.20-44到0.20-45
生命周期从1.0.0到1.0.1
从1.7.10润滑到1.8.0
MGCV从1.8-37增加到1.8-38
Mime从0.11到0.12
Pkgload从1.2.2到1.2.3
从0.8.0到0.9.0
Rcmdcheck从1.3.3到1.4.0
读取器从2.0.1到2.0.2
从0.1.16到0.1.17的食谱
远程从2.4.0到2.4.1
Rlang从0.4.11到0.4.12
从1.0.1投资到1.0.2
从1.6.0到1.7.1
Stringi从1.7.4到1.7.5
从3.0.4测试到3.1.0
Tidyr从1.1.3到1.1.4
Tinytex从0.33增加到0.34
从2.0.1到2.1.2使用this
Xfun从0.26到0.27
升级的Java库:
hikaricp从3.1.0到4.0.3
Apache火花
Databricks Runtime 10.1包含Apache Spark 3.2.0。此版本包括所有Spark修复和改进Databricks Runtime 10.0(不支持)，以及以下对Spark的额外错误修复和改进:
(火花- 37037)[SQL]通过统一UTF8String和ByteArray的compareTo函数改进字节数组排序
(火花- 37091)[R]系统要求包含Java < 18
(火花- 37041)[SQL] Backport HIVE-15025: HMS的SSL支持
(火花- 37098)更改表属性将使缓存无效
(火花- 36992)[SQL]通过统一UTF8String和ByteArray的getPrefix函数来提高字节数组排序性能
(火花- 37047)[SQL]为二进制字符串添加lpad和rpad函数
(火花- 37076)实现StructType。为Scala 2.13显式toString
(火花- 37075)将UDAF表达式构建从SQL /catalyst移到SQL /core
(火花- 37084)[SQL]设置spark.sql.files.openCostInBytes为bytesConf
(火花- 37088)[PYSPARK][SQL]写线程在任务完成监听器返回后不能访问输入
(火花- 37069)[SQL] Hive时正确回退。getWithoutRegisterFns不可用
(火花- 37050)更新Conda安装说明
(火花- 37067)[SQL]使用ZoneId.of()处理DatetimeUtils中的时区字符串
(火花- 35925)[SQL]宽度桶函数支持DayTimeIntervalType
(火花- 35926)[SQL]为width_bucket增加年月日间隔类型支持
(火花- 35973)[SQL]添加命令
显示目录(火花- 36922)[SQL] SIGN/SIGNUM函数应该支持ANSI间隔
(火花- 37078)[CORE]支持旧的3参数Sink构造函数
(火花- 37061)[SQL]修复使用内部类时的CustomMetrics
(火花- 35918)统一模式不匹配的读写处理和增强错误消息
(火花- 36871)[SQL]将CreateViewStatement迁移到v2命令
(火花- 36898)[SQL]使shuffle哈希连接因子可配置
(火花- 36921)[SQL]支持ANSI间隔
DIV(火花- 36794)[SQL]在建立SEMI/ANTI shuffle hash连接关系时忽略重复的连接键
(火花- 36867)[SQL]修复GROUP BY别名的错误信息
(火花- 36914)在JDBC中实现dropIndex和listIndexes (MySQL方言)
(火花- 35531)[SQL]调用getPartitions时直接将hive Table传递给HiveClient，避免从HiveTable -> CatalogTable -> HiveTable进行不必要的转换
(火花- 36718)[SQL]如果不复制昂贵的表达式，只会使项目崩溃
(火花- 37046)Alter视图不保留列大小写
(火花- 36978)[SQL] InferConstraints规则应该在被访问的嵌套字段上创建IsNotNull约束，而不是根嵌套类型
(火花- 37052)当sql shell时，Spark应该只将-verbose参数传递给主类
(火花- 37017)[SQL]减小synchronized的作用域以防止潜在的死锁
(火花- 37032)[SQL]修复SQL参考页面中SQL语法错误链接
(火花- 36905)[SQL]修复了没有显式列名读取hive视图的问题
(火花- 36678)迁移SHOW TABLES默认使用V2命令
(火花- 36943)改进缺失列错误消息的可读性
(火花- 36980)[SQL]插入CTE支持查询
(火花- 37001)[SQL]默认禁用最终哈希聚合的两级映射
(火花- 36970)[SQL]手动禁用格式
B的date_format函数使Java 17与Java 8兼容(火花- 36546)[SQL]根据名称为联合添加数组支持
(火花- 36979)[SQL]添加RewriteLateralSubquery规则到nonexcludablerrules
(火花- 36949)[SQL]不允许使用ANSI间隔的Hive提供者表
(火花- 36849)[SQL]迁移UseStatement到v2命令框架
(火花- 36868)[SQL]将CreateFunctionStatement迁移到v2命令框架
(火花- 36841)添加ansi语法
集目录xxx更改当前目录(火花- 36821)使类ColumnarBatch可扩展-附录
(火花- 36963)[SQL]在SQL .functions中添加max_by/min_by
(火花- 36913)在DS V2 JDBC中实现createIndex和IndexExists
(火花- 36848)[SQL]将ShowCurrentNamespaceStatement迁移到v2命令框架
(火花- 36526)[SQL] DSV2索引支持:增加supportsIndex接口
(火花- 36960)[SQL]下推过滤ANSI间隔值到ORC
(火花- 36929)[SQL]删除未使用的方法EliminateSubqueryAliasesSuite#assertEquivalent
(火花- 36931)[SQL]支持从ORC数据源读取和写入ANSI间隔
(火花- 34980)[SQL]在AQE中支持联合分区
(火花- 36809)[SQL]删除DPP中InSubqueryExec的广播
(火花- 36813)[SQL][PYTHON]提出一个as-of join的基础结构和实现ps.merge_asof
(火花- 36918)[SQL]在比较unionByName的结构时忽略类型
(火花- 36891)重构SpecificParquetRecordReaderBase，增加向量化Parquet解码的覆盖范围
(火花- 36920)[SQL]支持ANSI间隔
ABS ()(火花- 36888)为sha2函数添加测试用例
(火花- 36889)[SQL]尊重
spark.sql.parquet.filterPushdown由v2拼花扫描生成器(火花- 36830)支持从/到JSON数据源读取和写入ANSI间隔
(火花- 36870)引入INTERNAL_ERROR错误类
(火花- 36831)[SQL]支持从/到CSV数据源读写ANSI间隔。
(火花- 36550)[SQL] UDF反射失败时的传播原因
(火花- 36866)[SQL]下推过滤ANSI间隔值到拼花
(火花- 33832)强制倾斜连接代码的简化和改进
(火花- 36642)[SQL]添加df。withMetadata pyspark API
(火花- 35765)[SQL]不同的agg对重复不敏感
(火花- 36825)[SQL]以ANSI间隔从/到parquet文件读取/写入数据帧
(火花- 36829)[SQL] Refactor NULL检查collectionOperators
(火花- 32712)[SQL]支持写入Hive bucket表(Hive文件格式与Hive hash)
(火花- 36797)Union应该将嵌套列解析为顶级列
(火花- 36838)[SQL]改进InSet生成的代码性能
(火花- 36683)[SQL]增加新的内置SQL函数:SEC和CSC
(火花- 36721)[SQL]简化布尔等式，如果一边是文字
(火花- 36760)[SQL]添加接口SupportsPushDownV2Filters
(火花- 36652)[SQL] AQE动态连接选择不应应用于非equi连接
(火花- 36745)[SQL] ExtractEquiJoinKeys应该返回连接键上的原始谓词
(火花- 36107)[SQL]重构第一个20个查询执行错误集合以使用错误类
(火花- 32709)[SQL]支持写Hive bucket table (Parquet/ORC格式，带Hive hash)
(火花- 36735)[SQL]调整DPP的缓存关系开销
(火花- 33832)[SQL]支持优化倾斜连接，即使引入额外的shuffle
(火花- 36822)[SQL] BroadcastNestedLoopJoinExec应该使用all条件而不是non-equi条件
(火花- 35221)[SQL]增加支持连接提示的检查
(火花- 36814)使类ColumnarBatch可扩展
(火花- 36663)[SQL]在ORC数据源中只支持数字列名
(火花- 36751)[SQL][PYTHON][R]为Scala、PYTHON和R添加bit/octet_length api
(火花- 36733)[SQL]修复了SchemaPruning中结构有多个字段时的性能问题
(火花- 36724)[SQL]支持timestamp_ntz作为SessionWindow的时间列类型
(火花- 36556)[SQL]添加DSV2过滤器
(火花- 36687)[SQL][CORE]用_ERROR后缀重命名错误类
(火花- 35803)[SQL]支持DataSource V2 CreateTempViewUsing
(火花- 36642)[SQL]添加df。withMetadata:更新数据帧的元数据的语法修饰符
系统环境
操作系统: Ubuntu 20.04.3 LTS
Java: Zulu 8.56.0.21-CA-linux64
Scala: 2.12.14
Python: 3.8.10
R:以下4.4.1
三角洲湖: 1.0.0
已安装的Python库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
Antergos Linux |
2015.10 (ISO-Rolling) |
appdirs |
1.4.4 |
argon2-cffi |
20.1.0 |
async-generator |
1.10 |
attrs |
20.3.0 |
backcall |
0.2.0 |
漂白剂 |
3.3.0 |
boto3 |
1.16.7 |
botocore |
1.19.7 |
certifi |
2020.12.5 |
cffi |
1.14.5 |
chardet |
4.0.0 |
周期计 |
0.10.0 |
Cython |
0.29.23 |
dbus-python |
1.2.16 |
装饰 |
5.0.6 |
defusedxml |
是0.7.1 |
distlib |
0.3.3 |
distro-info |
0.23 ubuntu1 |
entrypoints |
0.3 |
facets-overview |
1.0.0 |
filelock |
3.3.1 |
idna |
2.10 |
ipykernel |
5.3.4 |
ipython |
7.22.0 |
ipython-genutils |
0.2.0 |
ipywidgets |
7.6.3 |
绝地武士 |
0.17.2 |
Jinja2 |
14 |
jmespath |
0.10.0 |
joblib |
1.0.1 |
jsonschema |
3.2.0 |
jupyter-client |
6.1.12 |
jupyter-core |
4.7.1 |
jupyterlab-pygments |
0.1.2 |
jupyterlab-widgets |
1.0.0 |
kiwisolver |
1.3.1 |
考拉 |
1.8.2 |
MarkupSafe |
2.0.1 |
matplotlib |
3.4.2 |
使走调 |
0.8.4 |
nbclient |
0.5.3 |
nbconvert |
6.0.7 |
nbformat |
5.1.3 |
nest-asyncio |
1.5.1 |
笔记本 |
6.3.0 |
numpy |
1.19.2 |
包装 |
20.9 |
熊猫 |
1.2.4 |
pandocfilters |
3 |
parso |
0.7.0 |
容易受骗的人 |
0.5.1 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
枕头 |
8.2.0 |
皮普 |
21.0.1 |
情节 |
5.3.0 |
prometheus-client |
0.10.1 |
prompt-toolkit |
3.0.17 |
protobuf |
3.17.2 |
psycopg2 |
2.8.5 |
ptyprocess |
0.7.0 |
pyarrow |
4.0.0 |
pycparser |
2.20 |
Pygments |
2.8.1发布 |
PyGObject |
3.36.0 |
pyparsing |
2.4.7 |
pyrsistent |
0.17.3 |
python-apt |
2.0.0 + ubuntu0.20.4.6 |
python-dateutil |
2.8.1发布 |
pytz |
2020.5 |
pyzmq |
20.0.0 |
请求 |
2.25.1 |
requests-unixsocket |
0.2.0 |
s3transfer |
0.3.7 |
scikit-learn |
0.24.1 |
scipy |
1.6.2 |
seaborn |
0.11.1 |
Send2Trash |
1.5.0 |
setuptools |
52.0.0 |
六个 |
1.15.0 |
ssh-import-id |
5.10 |
statsmodels |
0.12.2 |
韧性 |
8.0.1 |
terminado |
0.9.4 |
testpath |
0.4.4 |
threadpoolctl |
魅惑 |
龙卷风 |
6.1 |
traitlets |
5.0.5 |
unattended-upgrades |
0．1 |
urllib3 |
1.25.11 |
virtualenv |
20.4.1 |
wcwidth |
0.2.5 |
webencodings |
0.5.1 |
轮 |
0.36.2 |
widgetsnbextension |
3.5.1 |
已安装的R库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
|---|---|---|---|---|---|
askpass |
1．1 |
为了 |
0.2.1 |
补丁 |
1.2.1 " |
基地 |
以下4.4.1 |
base64enc |
0.1 - 3 |
位 |
4.0.4 |
bit64 |
你 |
团 |
1.2.2 |
引导 |
-28 - 1.3 |
酿造 |
1.0 6 |
生动 |
1.1.2 |
扫帚 |
0.7.9 |
bslib |
0.3.1 |
cachem |
1.0.6 |
callr |
3.7.0 |
脱字符号 |
-90 - 6.0 |
cellranger |
1.1.0 |
时间 |
-56 - 2.3 |
类 |
-19 - 7.3 |
cli |
3.0.1 |
clipr |
是0.7.1 |
集群 |
2.1.2 |
codetools |
-18 - 0.2 |
色彩 |
2.0 - 2 |
commonmark |
1.7 |
编译器 |
以下4.4.1 |
配置 |
0.3.1 |
cpp11 |
0.4.0 |
蜡笔 |
1.4.1 |
凭证 |
1.3.1 |
旋度 |
4.3.2 |
data.table |
1.14.2 |
数据集 |
以下4.4.1 |
DBI |
1.1.1 |
dbplyr |
2.1.1 |
desc |
1.4.0 |
devtools |
2.4.2 |
diffobj |
0.3.5 |
消化 |
0.6.28 |
dplyr |
1.0.7 |
dtplyr |
1.1.0 |
e1071 |
1.7 9 |
省略 |
0.3.2 |
评估 |
0.14 |
fansi |
0.5.0 |
farver |
魅惑 |
fastmap |
1.1.0 |
fontawesome |
0.2.2 |
forcats |
0.5.1 |
foreach |
1.5.1 |
外国 |
-81 - 0.8 |
打造 |
0.2.0 |
fs |
1.5.0 |
未来 |
1.22.1 |
future.apply |
1.8.1 |
含漱剂 |
1.2.0 |
泛型 |
0.1.1 |
哥特 |
1.4.1 |
ggplot2 |
3.3.5 |
“大酒店” |
1.3.0 |
gitcreds |
0.1.1 |
glmnet |
4.1 - 2 |
全局变量 |
0.14.0 |
胶水 |
1.4.2 |
googledrive |
2.0.0 |
googlesheets4 |
1.0.0 |
高尔 |
0.2.2 |
图形 |
以下4.4.1 |
grDevices |
以下4.4.1 |
网格 |
以下4.4.1 |
gridExtra |
2．3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
还 |
2.4.3 |
highr |
0.9 |
hms |
1.1.1 |
htmltools |
0.5.2 |
htmlwidgets |
1.5.4 |
httpuv |
1.6.3 |
httr |
1.4.2 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
id |
1.0.1 |
ini |
0.3.1 |
不小 |
-12 - 0.9 |
isoband |
0.2.5 |
迭代器 |
1.0.13 |
jquerylib |
0.1.4 |
jsonlite |
1.7.2 |
KernSmooth |
-20 - 2.23 |
knitr |
1.36 |
标签 |
0.4.2 |
晚些时候 |
1.3.0 |
晶格 |
-45 - 0.20 |
熔岩 |
1.6.10 |
生命周期 |
1.0.1 |
listenv |
0.8.0 |
lubridate |
1.8.0 |
magrittr |
2.0.1 |
减价 |
1．1 |
质量 |
-54 - 7.3 |
矩阵 |
1.3 - 4 |
memoise |
2.0.0 |
方法 |
以下4.4.1 |
mgcv |
-38 - 1.8 |
mime |
0.12 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞尔 |
0.5.0 |
nlme |
-152 - 3.1 |
nnet |
-16 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
1.4.5 |
平行 |
以下4.4.1 |
平行 |
1.28.1 |
支柱 |
1.6.4, |
pkgbuild |
1.2.0 |
pkgconfig |
2.0.3 |
pkgload |
1.2.3 |
plogr |
0.2.0 |
plyr |
1.8.6 |
赞美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.18.0 |
processx |
3.5.2 |
prodlim |
2019.11.13 |
进步 |
1.2.2 |
progressr |
0.9.0 |
承诺 |
1.2.0.1 |
原型 |
1.0.0 |
代理 |
-26 - 0.4 |
ps |
1.6.0 |
purrr |
0.3.4 |
r2d3 |
0.2.5 |
R6 |
2.5.1 |
randomForest |
-14 - 4.6 |
rappdirs |
0.3.3 |
rcmdcheck |
1.4.0 |
RColorBrewer |
1.1 - 2 |
Rcpp |
1.0.7 |
readr |
2.0.2 |
readxl |
1.3.1 |
食谱 |
0.1.17 |
复赛 |
1.0.1 |
rematch2 |
2.1.2 |
遥控器 |
2.4.1 |
reprex |
2.0.1 |
reshape2 |
1.4.4 |
rlang |
0.4.12 |
rmarkdown |
2.11 |
RODBC |
-19 - 1.3 |
roxygen2 |
7.1.2 |
rpart |
-15 - 4.1 |
rprojroot |
2.0.2 |
Rserve |
1.8 8 |
RSQLite |
2.2.8 |
rstudioapi |
0.13 |
rversions |
2.1.1 |
房车 |
1.0.2中 |
萨斯 |
0.4.0 |
尺度 |
1.1.1 |
selectr |
0.4 - 2 |
sessioninfo |
1.1.1 |
形状 |
1.4.6 |
闪亮的 |
1.7.1上 |
sourcetools |
0.1.7 |
sparklyr |
1.7.2 |
SparkR |
3.2.0 |
空间 |
-11 - 7.3 |
样条函数 |
以下4.4.1 |
sqldf |
-11 - 0.4 |
SQUAREM |
2021.1 |
统计数据 |
以下4.4.1 |
stats4 |
以下4.4.1 |
stringi |
1.7.5 |
stringr |
1.4.0 |
生存 |
-13 - 3.2 |
sys |
3.4 |
tcltk |
以下4.4.1 |
TeachingDemos |
2.10 |
testthat |
3.1.0 |
宠物猫 |
3.1.5 |
tidyr |
1.1.4 |
tidyselect |
1.1.1 |
tidyverse |
1.3.1 |
timeDate |
3043.102 |
tinytex |
0.34 |
工具 |
以下4.4.1 |
tzdb |
0.1.2 |
usethis |
2.1.2 |
use utf8 |
1.2.2 |
跑龙套 |
以下4.4.1 |
uuid |
0.1 - 4 |
vctrs |
0.3.8 |
viridisLite |
0.4.0 |
发呜呜声 |
1.5.5 |
沃尔多 |
0.3.1 |
晶须 |
0.4 |
withr |
2.4.2 |
xfun |
0.27 |
xml2 |
1.3.2 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.2.1 |
邮政编码 |
2.2.0 |
安装Java和Scala库(Scala 2.12集群版本)
组ID |
工件ID |
版本 |
|---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.655 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.655 |
com.amazonaws |
aws-java-sdk-config |
1.11.655 |
com.amazonaws |
aws-java-sdk-core |
1.11.655 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.655 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.655 |
com.amazonaws |
aws-java-sdk-directory |
1.11.655 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.655 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.655 |
com.amazonaws |
aws-java-sdk-efs |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.655 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.655 |
com.amazonaws |
aws-java-sdk-emr |
1.11.655 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.655 |
com.amazonaws |
aws-java-sdk-glue |
1.11.655 |
com.amazonaws |
aws-java-sdk-iam |
1.11.655 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.655 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.655 |
com.amazonaws |
aws-java-sdk-kms |
1.11.655 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.655 |
com.amazonaws |
aws-java-sdk-logs |
1.11.655 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.655 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.655 |
com.amazonaws |
aws-java-sdk-rds |
1.11.655 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.655 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.655 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ses |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.655 |
com.amazonaws |
aws-java-sdk-sns |
1.11.655 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.655 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.655 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.655 |
com.amazonaws |
aws-java-sdk-sts |
1.11.655 |
com.amazonaws |
aws-java-sdk-support |
1.11.655 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.655 |
com.amazonaws |
jmespath-java |
1.11.655 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.12.2 |
com.fasterxml.jackson.core |
jackson-core |
2.12.2 |
com.fasterxml.jackson.core |
jackson-databind |
2.12.2 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.12.2 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.12.2 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.12.2 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.12.2 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1．1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1．1 |
com.github.fommil.netlib |
native_ref-java-natives |
1．1 |
com.github.fommil.netlib |
native_system-java |
1．1 |
com.github.fommil.netlib |
native_system-java-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1．1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1．1 |
com.github.luben |
zstd-jni |
1.5.0-4 |
com.github.wendykierp |
JTransforms |
3．1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.8.6 |
com.google.crypto.tink |
叮叮铃 |
1.6.0 |
com.google.flatbuffers |
flatbuffers-java |
1.9.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
1.4.195 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.3.9 |
com.microsoft.sqlserver |
mssql-jdbc |
9.2.1.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.istack |
istack-commons-runtime |
3.0.8 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1．8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.10.0 |
com.twitter |
chill_2.12 |
0.10.0 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.1 |
com.zaxxer |
HikariCP |
4.0.3 |
commons-cli |
commons-cli |
1．2 |
commons-codec |
commons-codec |
1.15 |
commons-collections |
commons-collections |
3.2.2 |
commons-dbcp |
commons-dbcp |
1．4 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3．1 |
commons-io |
commons-io |
2.8.0 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons net |
commons net |
3．1 |
commons-pool |
commons-pool |
1.5.4 |
dev.ludovic.netlib |
arpack |
1.3.2 |
dev.ludovic.netlib |
布拉斯特区 |
1.3.2 |
dev.ludovic.netlib |
lapack |
1.3.2 |
蜂巢3.2 - 2.3 - __hadoop - |
jets3t - 0.7 |
liball_deps_2.12 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.19 |
io.delta |
delta-sharing-spark_2.12 |
0.2.0 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.63.Final |
io.prometheus |
simpleclient |
0.7.0 |
io.prometheus |
simpleclient_common |
0.7.0 |
io.prometheus |
simpleclient_dropwizard |
0.7.0 |
io.prometheus |
simpleclient_pushgateway |
0.7.0 |
io.prometheus |
simpleclient_servlet |
0.7.0 |
io.prometheus.jmx |
收集器 |
0.12.0 |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.servlet |
jakarta.servlet-api |
4.0.3 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.annotation |
javax.annotation-api |
1.3.2 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.transaction |
jta |
1．1 |
javax.transaction |
事务api |
1．1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.5 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
maven-trees |
蜂巢3.2 - 2.3 - __hadoop - |
liball_deps_2.12 |
net.java.dev.jna |
jna |
5.8.0 |
net.razorvine |
地幔岩 |
4.30 |
net.sf.jpam |
jpam |
1．1 |
net.sf.opencsv |
opencsv |
2．3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.13.3 |
net.snowflake |
spark-snowflake_2.12 |
2.9.0-spark_3.1 |
net.sourceforge.f2j |
arpack_combined_all |
0．1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.8 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
2.0.0 |
org.apache.arrow |
arrow-memory-core |
2.0.0 |
org.apache.arrow |
arrow-memory-netty |
2.0.0 |
org.apache.arrow |
arrow-vector |
2.0.0 |
org.apache.avro |
avro |
1.10.2 |
org.apache.avro |
avro-ipc |
1.10.2 |
org.apache.avro |
avro-mapred |
1.10.2 |
org.apache.commons |
commons-compress |
1.20 |
org.apache.commons |
commons-crypto |
1.1.0 |
org.apache.commons |
commons-lang3 |
3.12.0 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.commons |
commons-text |
1．6 |
org.apache.curator |
curator-client |
2.13.0 |
org.apache.curator |
curator-framework |
2.13.0 |
org.apache.curator |
curator-recipes |
2.13.0 |
org.apache.derby |
德比 |
10.14.2.0 |
org.apache.hadoop |
hadoop-client-api |
3.3.1-databricks |
org.apache.hadoop |
hadoop-client-runtime |
3.3.1 |
org.apache.hive |
hive-beeline |
2.3.9 |
org.apache.hive |
hive-cli |
2.3.9 |
org.apache.hive |
hive-jdbc |
2.3.9 |
org.apache.hive |
hive-llap-client |
2.3.9 |
org.apache.hive |
hive-llap-common |
2.3.9 |
org.apache.hive |
hive-serde |
2.3.9 |
org.apache.hive |
hive-shims |
2.3.9 |
org.apache.hive |
hive-storage-api |
2.7.2 |
org.apache.hive.shims |
蜂巢0.23 -垫片 |
2.3.9 |
org.apache.hive.shims |
hive-shims-common |
2.3.9 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.9 |
org.apache.htrace |
htrace-core4 |
4.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.13 |
org.apache.httpcomponents |
httpcore |
4.4.12 |
org.apache.ivy |
艾薇 |
2.5.0 |
org.apache.mesos |
mesos-shaded-protobuf |
1.4.0 |
org.apache.orc |
orc-core |
1.6.10 |
org.apache.orc |
orc-mapreduce |
1.6.10 |
org.apache.orc |
orc-shims |
1.6.10 |
org.apache.parquet |
parquet-column |
1.12.0-databricks-0003 |
org.apache.parquet |
parquet-common |
1.12.0-databricks-0003 |
org.apache.parquet |
parquet-encoding |
1.12.0-databricks-0003 |
org.apache.parquet |
parquet-format-structures |
1.12.0-databricks-0003 |
org.apache.parquet |
parquet-hadoop |
1.12.0-databricks-0003 |
org.apache.parquet |
parquet-jackson |
1.12.0-databricks-0003 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.xbean |
xbean-asm9-shaded |
4.20 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
动物园管理员 |
操作 |
org.apache.zookeeper |
zookeeper-jute |
操作 |
org.checkerframework |
checker-qual |
3.5.0 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-continuation |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-http |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-io |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-jndi |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-plus |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-proxy |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-security |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty服务器 |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty servlet |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-servlets |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-util |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-util-ajax |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-webapp |
9.4.40.v20210413 |
org.eclipse.jetty |
jetty-xml |
9.4.40.v20210413 |
org.eclipse.jetty.websocket |
websocket-api |
9.4.40.v20210413 |
org.eclipse.jetty.websocket |
websocket-client |
9.4.40.v20210413 |
org.eclipse.jetty.websocket |
websocket-common |
9.4.40.v20210413 |
org.eclipse.jetty.websocket |
websocket服务器 |
9.4.40.v20210413 |
org.eclipse.jetty.websocket |
websocket-servlet |
9.4.40.v20210413 |
org.fusesource.leveldbjni |
leveldbjni-all |
1．8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jaxb |
jaxb运行时 |
2.3.2 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.34 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.34 |
org.glassfish.jersey.core |
jersey客户端 |
2.34 |
org.glassfish.jersey.core |
jersey-common |
2.34 |
org.glassfish.jersey.core |
jersey-server |
2.34 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.34 |
org.hibernate.validator |
hibernate验证框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.jetbrains |
注释 |
17.0.0 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.7.0-M11 |
org.json4s |
json4s-core_2.12 |
3.7.0-M11 |
org.json4s |
json4s-jackson_2.12 |
3.7.0-M11 |
org.json4s |
json4s-scalap_2.12 |
3.7.0-M11 |
org.lz4 |
lz4-java |
1.7.1上 |
org.mariadb.jdbc |
mariadb-java-client |
2.2.5 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.2.19 |
org.roaringbitmap |
RoaringBitmap |
0.9.14 |
org.roaringbitmap |
垫片 |
0.9.14 |
org.rocksdb |
rocksdbjni |
6.20.3 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.14 |
org.scala-lang |
scala-library_2.12 |
2.12.14 |
org.scala-lang |
scala-reflect_2.12 |
2.12.14 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.4.3 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
测试界面 |
1．0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1．0 |
org.scalanlp |
breeze_2.12 |
1．0 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.30 |
org.slf4j |
jul-to-slf4j |
1.7.30 |
org.slf4j |
slf4j-api |
1.7.30 |
org.slf4j |
slf4j-log4j12 |
1.7.30 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring测试 |
4.1.4.RELEASE |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1．8 |
org.typelevel |
algebra_2.12 |
2.0.0-M2 |
org.typelevel |
cats-kernel_2.12 |
2.0.0-M4 |
org.typelevel |
machinist_2.12 |
0.6.8 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0-M1 |
org.typelevel |
spire-bob体育客户端下载platform_2.12 |
0.17.0-M1 |
org.typelevel |
spire-util_2.12 |
0.17.0-M1 |
org.typelevel |
spire_2.12 |
0.17.0-M1 |
org.wildfly.openssl |
wildfly-openssl |
1.0.7.Final |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.8.4 |
org.yaml |
snakeyaml |
1.24 |
奥罗 |
奥罗 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1．5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |