Databricks Runtime 7.4(不支持)
Databricks于2020年11月发布了这张图片。
以下发布说明提供了Databricks运行时7.4的信息,由Apache Spark 3.0提供支持。
新功能
三角洲湖的特点和改进
此版本提供了以下Delta Lake功能和改进:
新的API允许Delta Lake验证添加到表中的数据是否满足约束
三角洲湖现在支持检查
约束。提供后,Delta Lake会自动验证添加到表中的数据是否满足指定的表达式。添加检查
约束,使用改变表格添加约束
命令。详细信息请参见数据约束.
新的API允许您将Delta表回滚到旧版本的表
方法可以将Delta表回滚到旧版本恢复
命令:
恢复<表格>来版本作为的n;恢复<表格>来时间戳作为的“yyyy-MM-dd HH: mm: ss”;
从delta.tables进口DeltaTableDeltaTable.forPath(火花,路径).restoreToVersion(n)DeltaTable.forPath(火花,路径).restoreToTimestamp(“yyyy-MM-dd”)
进口io.δ.表.DeltaTableDeltaTable.forPath(火花,路径).restoreToVersion(n)DeltaTable.forPath(火花,路径).restoreToTimestamp(“yyyy-MM-dd”)
恢复
创建一个新的提交,该提交回滚自要恢复的版本以来对表所做的所有更改。恢复所有现有数据和元数据,包括模式、约束、流事务id、复制成
元数据,表协议版本。详细信息请参见恢复Delta表.
新的开始版本只允许返回Delta Lake流源的最新更改
若要只返回最新的更改,请指定startingVersion
作为最新的
.详细信息请参见指定初始位置.
提高稳定性优化
优化
(没有任何分区谓词)可以扩展到在具有数千万个小文件的表上运行。以前,Apache Spark驱动程序可能会耗尽内存和优化
不完整的。优化
现在处理具有数千万个文件的非常大的表。
自动加载器现在支持委托文件通知资源设置的管理员
一个新的Scala API允许管理员为Auto Loader设置文件通知资源。数据工程师现在可以通过将初始资源设置委托给管理员,以更少的权限操作他们的Auto Loader流。看到手动配置或管理文件通知资源.
新使用
特权使管理员对数据访问权限有更大的控制
要对数据库中的对象执行操作,现在必须授予使用
除了执行该操作所需的特权之外,还需要该数据库上的特权。的使用
为数据库或目录授予特权。随着的介绍使用
特权,表所有者不能再单方面决定与其他用户共享它;用户还必须具有使用
在包含该表的数据库上的权限。
在启用了表访问控制的工作区中,用户
组自动具有使用
根目录的特权目录
.
详细信息请参见使用特权.
DBFS FUSE现在为启用直通的集群启用
现在可以使用FUSE挂载从DBFS读取和写入/ dbfs /
当您使用启用凭据传递的高并发集群时。支持常规挂载。不支持需要直通凭据的挂载。
改进
Spark SQL支持敌我识别
而且CHARINDEX
作为同义词如果
而且位置
在Databricks运行时如果()
是同义词吗情况下当<气孔导度>然后< expr1 >其他的< expr2 >结束
Databricks Runtime现在支持敌我识别()
作为的同义词如果()
选择敌我识别(c1=1,“你好”,“世界”),c1从(值(1),(2))作为T(c1)= >(你好,1)(世界,2)
CHARINDEX
的替代名称是位置
函数。CHARINDEX
在具有可选开始索引的另一个字符串中查找字符串第一次出现的位置。
值(CHARINDEX(“他”,“来自地狱的问候”,2))= >12
Python笔记本默认启用每个单元格多个输出
Databricks运行时7.1引入了支持Python笔记本中的每个单元格多个输出(非Python笔记本中的% Python单元格),但您需要为您的笔记本启用该特性。该特性在Databricks Runtime 7.4中默认启用。看到查看每个单元格的多个输出.
其他修复
修正了一个酸洗问题
collections.namedtuple
在笔记本电脑。修正了交互式定义类和方法的酸洗问题。
修正了一个导致调用的错误
mlflow.start_run ()
在为表访问控制启用的传递或集群上失败。
库升级
升级的Python库:
绝地武士从0.14.1升级到0.17.2。
考拉从1.2.0升级到1.3.0。
Parso从0.5.2升级到0.7.0。
升级了几个已安装的R库。看到已安装的R库.
Apache火花
Databricks Runtime 7.4包含Apache Spark 3.0.1。此版本包括所有Spark修复和改进Databricks Runtime 7.3 LTS,以及以下对Spark的额外错误修复和改进:
(火花- 33170)[SQL]在FileFormatWriter中添加SQL配置来控制快速失败行为
(火花- 33136)[SQL]修复V2WriteCommand.outputResolved错误交换参数的问题
(火花- 33134)[SQL]只返回根JSON对象的部分结果
(火花- 33038)[SQL]结合AQE初始和当前计划…
(火花- 33118)[SQL]创建临时表定位失败
(火花- 33101)[ML]使LibSVM格式从DS选项传播Hadoop配置到底层HDFS文件系统
(火花- 33035)[SQL]更新QueryPlan#transformUpWithNewOutput中属性映射的废弃条目
(火花- 33091)[SQL]避免使用map代替foreach,以避免在OrcUtils.readCatalystSchema调用时产生潜在的副作用
(火花- 33073)改进熊猫到箭头转换失败的错误处理
(火花- 33043)[ML] spark.driver手柄。RowMatrix启发式计算中的maxResultSize=0
(火花- 29358)[SQL]使unionByName可选地用空填充缺失的列
(火花- 32996)在ExecutorMetricsJsonSerializer中处理空的ExecutorMetrics
(火花- 32585)在ScalaReflection中支持scala枚举
(火花- 33019)[CORE]使用spark.hadoop.mapreduce. fileoutputcommittter .algorithm。默认版本为1
(火花- 33018)[SQL]修复如果child有0字节估计统计问题
(火花- 32901)当溢出UnsafeExternalSorter时不分配内存
(火花- 33015)[SQL]在ComputeCurrentTime规则中使用millisToDays(
(火花- 33015)[SQL]只计算一次当前日期
(火花- 32999)[SQL]使用Utils。getSimpleName以避免在TreeNode中击中畸形的类名
(火花- 32659)[SQL] InSubqueryExec中的Set不是广播数组
(火花- 32718)[SQL]删除间隔单位中不必要的关键字
(火花- 32886)修复事件时间轴视图中“未定义”的链接
(火花- 32898)[CORE]修复任务在真正启动前被杀死时的executorRunTime错误
(火花- 32635)[SQL]在catalyst模块中添加一个新的测试用例
(火花- 32930)替换已废弃的isFile/isDirectory方法
(火花- 32906)在规范化浮点数后,结构字段名不应该改变
(火花- 24994)[SQL]添加UnwrapCastInBinaryComparison优化器来简化积分文字
(火花- 32635)[SQL]修复可折叠传播
(火花- 32738)如果发生致命错误,应该减少活动线程的数量
Inbox.process
(火花- 32900)当有空值时允许UnsafeExternalSorter溢出
(火花- 32897)在SparkSession.builder.getOrCreate中不显示弃用警告
(火花- 32715)[CORE]修复广播存储失败时的内存泄漏
(火花- 32715)[CORE]修复广播存储失败时的内存泄漏
(火花- 32872)[CORE]阻止MAX_CAPACITY的BytesToBytesMap超过增长阈值
(火花- 32876)[SQL]修改HiveExternalCatalogVersionsSuite的默认回退版本为3.0.1和2.4.7
(火花- 32840)[SQL]无效的间隔值可能恰好与单元粘合
(火花- 32819)ignoreNullability参数应该递归有效
(火花- 32832)使用CaseInsensitiveMap作为DataStreamReader/Writer选项
(火花- 32794)[SS]修复了微批处理引擎中一些有状态查询+ no-data-batch + V1源的罕见角落错误
(火花- 32813)[SQL]如果没有活跃的SparkSession,则获取ParquetSource vector reader的默认配置
(火花- 32823)[WEB UI]修复主UI资源报告
(火花- 32824)改进当用户忘记资源配置中的.amount时的错误信息
(火花- 32614)[SQL]如果“comment”未为CSV设置,则不应用注释处理
(火花- 32638)[SQL]在WidenSetOperationTypes中添加别名时纠正引用
(火花- 32810)[SQL] CSV/JSON数据源在推断模式时应避免通配符路径
(火花- 32815)[ML]修复LibSVM数据源在文件路径上使用glob元字符加载错误
(火花- 32753)[SQL]只复制标签到没有标签的节点
(火花- 32785)[SQL]间隔与悬空部分不应导致空
(火花- 32764)[SQL] -0.0应该等于0.0
(火花- 32810)[SQL] CSV/JSON数据源在推断模式时应避免通配符路径
(火花- 32779)避免在withClient流中使用SessionCatalog的同步API,这会导致死锁
(火花- 32791)[SQL]非分区表度量不应该有动态分区修剪时间
(火花- 32767)如果spark.sql.shuffle.partitions大于桶号,则桶连接正常
(火花- 32788)[SQL]非分区表扫描不应该有分区过滤器
(火花- 32776)[SS]流中的限制不应该被PropagateEmptyRelation优化掉
(火花- 32624)[SQL]修复CodegenContext中的回归。addReferenceObj用于嵌套Scala类型
(火花- 32659)改进非原子类型的DPP剪枝测试
(火花- 31511)使BytesToBytesMap迭代器线程安全
(火花- 32693)[SQL]比较两个模式相同但属性为空的数据帧
(火花- 28612)[SQL] DataFrameWriterV2.replace()的正确方法文档
系统环境
操作系统: Ubuntu 18.04.5 LTS
Java: Zulu 8.48.0.53-CA-linux64 (build 1.8.0_265-b11)
Scala: 2.12.10
Python: 3.7.5
R: R版本3.6.3 (2020-02-29)
三角洲湖0.7.0
已安装的Python库
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
asn1crypto |
1.3.0 |
backcall |
0.1.0 |
boto3 |
1.12.0 |
botocore |
1.15.0 |
certifi |
2020.6.20 |
cffi |
1.14.0 |
chardet |
3.0.4 |
密码学 |
2.8 |
周期计 |
0.10.0 |
Cython |
0.29.15 |
装饰 |
4.1.1 |
docutils |
0.15.2 |
entrypoints |
0.3 |
idna |
2.8 |
ipykernel |
5.1.4 |
ipython |
7.12.0 |
ipython-genutils |
0.2.0 |
绝地武士 |
0.17.2 |
jmespath |
0.10.0 |
joblib |
0.14.1 |
jupyter-client |
5.3.4 |
jupyter-core |
4.6.1 |
kiwisolver |
1.1.0 |
考拉 |
1.3.0 |
matplotlib |
3.1.3 |
numpy |
1.18.1 |
熊猫 |
1.0.1 |
parso |
0.7.0 |
容易受骗的人 |
0.5.1 |
pexpect |
4.8.0 |
pickleshare |
0.7.5 |
皮普 |
20.0.2 |
prompt-toolkit |
3.0.3 |
psycopg2 |
2.8.4 |
ptyprocess |
0.6.0 |
pyarrow |
1.0.1 |
pycparser |
2.19 |
Pygments |
2.5.2 |
PyGObject |
3.26.1 |
pyOpenSSL |
19.1.0 |
pyparsing |
2.4.6 |
PySocks |
1.7.1上 |
python-apt |
1.6.5 + ubuntu0.3 |
python-dateutil |
2.8.1发布 |
pytz |
2019.3 |
pyzmq |
18.1.1 |
请求 |
2.22.0 |
s3transfer |
0.3.3 |
scikit-learn |
0.22.1 |
scipy |
1.4.1 |
seaborn |
0.10.0 |
setuptools |
45.2.0 |
六个 |
1.14.0 |
ssh-import-id |
5.7 |
statsmodels |
0.11.0 |
龙卷风 |
6.0.3 |
traitlets |
4.3.3 |
unattended-upgrades |
0.1 |
urllib3 |
1.25.8 |
virtualenv |
16.7.10 |
wcwidth |
0.1.8 |
轮 |
0.34.2 |
已安装的R库
R库从(微软CRAN快照在XXXX-XX-XX).
图书馆 |
版本 |
图书馆 |
版本 |
图书馆 |
版本 |
---|---|---|---|---|---|
askpass |
1.1 |
为了 |
0.2.1 |
补丁 |
1.1.8 |
基地 |
3.6.3 |
base64enc |
0.1 - 3 |
黑洞 |
1.72.0-3 |
位 |
1.1 - -15.2 |
bit64 |
0.9 7 |
团 |
1.2.1 " |
引导 |
-25 - 1.3 |
酿造 |
1.0 6 |
扫帚 |
0.7.0 |
callr |
3.4.3 |
脱字符号 |
-86 - 6.0 |
cellranger |
1.1.0 |
时间 |
-55 - 2.3 |
类 |
-17 - 7.3 |
cli |
2.0.2 |
clipr |
0.7.0 |
集群 |
魅惑 |
codetools |
-16 - 0.2 |
色彩 |
1.4 - 1 |
commonmark |
1.7 |
编译器 |
3.6.3 |
配置 |
0.3 |
covr |
3.5.0 |
蜡笔 |
1.3.4 |
相声 |
1.1.0.1 |
旋度 |
4.3 |
data.table |
1.12.8 |
数据集 |
3.6.3 |
DBI |
1.1.0 |
dbplyr |
1.4.4 |
desc |
1.2.0 |
devtools |
tripwire |
消化 |
0.6.25 |
dplyr |
0.8.5 |
DT |
0.14 |
省略 |
0.3.1 |
评估 |
0.14 |
fansi |
0.4.1 |
farver |
2.0.3 |
fastmap |
1.0.1 |
forcats |
0.5.0 |
foreach |
1.5.0 |
外国 |
-76 - 0.8 |
打造 |
0.2.0 |
fs |
1.4.2 |
泛型 |
发布 |
ggplot2 |
3.3.2 |
“大酒店” |
1.1.0 |
git2r |
0.27.1 |
glmnet |
3.0 - 2 |
全局变量 |
0.12.5 |
胶水 |
1.4.1 |
高尔 |
0.2.2 |
图形 |
3.6.3 |
grDevices |
3.6.3 |
网格 |
3.6.3 |
gridExtra |
2.3 |
gsubfn |
0.7 |
gtable |
0.3.0 |
还 |
2.3.1 |
highr |
0.8 |
hms |
0.5.3 |
htmltools |
0.5.0 |
htmlwidgets |
1.5.1 |
httpuv |
1.5.4 |
httr |
1.4.1 |
hwriter |
1.3.2 |
hwriterPlus |
1.0 - 3 |
ini |
0.3.1 |
不小 |
0.9 9 |
isoband |
0.2.2 |
迭代器 |
1.0.12 |
jsonlite |
1.7.0 |
KernSmooth |
-17 - 2.23 |
knitr |
1.29 |
标签 |
0.3 |
晚些时候 |
1.1.0.1 |
晶格 |
-41 - 0.20 |
熔岩 |
1.6.7 |
lazyeval |
0.2.2 |
生命周期 |
0.2.0 |
lubridate |
1.7.9 |
magrittr |
1.5 |
减价 |
1.1 |
质量 |
-53 - 7.3 |
矩阵 |
-18 - 1.2 |
memoise |
1.1.0 |
方法 |
3.6.3 |
mgcv |
-33 - 1.8 |
mime |
0.9 |
ModelMetrics |
1.2.2.2 |
modelr |
0.1.8 |
孟塞尔 |
0.5.0 |
nlme |
-149 - 3.1 |
nnet |
-14 - 7.3 |
numDeriv |
2016.8 - -1.1 |
openssl |
1.4.2 |
平行 |
3.6.3 |
支柱 |
1.4.6 |
pkgbuild |
1.1.0 |
pkgconfig |
2.0.3 |
pkgload |
1.1.0 |
plogr |
0.2.0 |
plyr |
1.8.6 |
赞美 |
1.0.0 |
prettyunits |
1.1.1 |
pROC |
1.16.2 |
processx |
3.4.3 |
prodlim |
2019.11.13 |
进步 |
1.2.2 |
承诺 |
1.1.1 |
原型 |
1.0.0 |
ps |
1.3.3 |
purrr |
0.3.4 |
r2d3 |
0.2.3 |
R6 |
2.4.1 |
randomForest |
-14 - 4.6 |
rappdirs |
0.3.1 |
rcmdcheck |
1.3.3 |
RColorBrewer |
1.1 - 2 |
Rcpp |
1.0.5 |
readr |
1.3.1 |
readxl |
1.3.1 |
食谱 |
0.1.13 |
复赛 |
1.0.1 |
rematch2 |
2.1.2 |
遥控器 |
2.1.1 |
reprex |
0.3.0 |
reshape2 |
1.4.4 |
雷克斯 |
1.2.0 |
rjson |
0.2.20 |
rlang |
0.4.7 |
rmarkdown |
2.3 |
RODBC |
-16 - 1.3 |
roxygen2 |
安装7.1.1 |
rpart |
-15 - 4.1 |
rprojroot |
1.3 - 2 |
Rserve |
1.8 7 |
RSQLite |
2.2.0 |
rstudioapi |
0.11 |
rversions |
2.0.2 |
房车 |
0.3.5 |
尺度 |
1.1.1 |
selectr |
0.4 - 2 |
sessioninfo |
1.1.1 |
形状 |
1.4.4 |
闪亮的 |
1.5.0 |
sourcetools |
0.1.7 |
sparklyr |
1.3.1 |
SparkR |
3.0.0 |
空间 |
-11 - 7.3 |
样条函数 |
3.6.3 |
sqldf |
-11 - 0.4 |
SQUAREM |
2020.3 |
统计数据 |
3.6.3 |
stats4 |
3.6.3 |
stringi |
1.4.6 |
stringr |
1.4.0 |
生存 |
3.2 7 |
sys |
3.3 |
tcltk |
3.6.3 |
TeachingDemos |
2.10 |
testthat |
2.3.2 |
宠物猫 |
3.0.3 |
tidyr |
1.1.0 |
tidyselect |
1.1.0 |
tidyverse |
1.3.0 |
timeDate |
3043.102 |
tinytex |
0.24 |
工具 |
3.6.3 |
usethis |
1.6.1 |
use utf8 |
1.1.4 |
跑龙套 |
3.6.3 |
uuid |
0.1 - 4 |
vctrs |
0.3.1 |
viridisLite |
0.3.0 |
晶须 |
0.4 |
withr |
2.2.0 |
xfun |
0.15 |
xml2 |
1.3.2 |
xopen |
1.0.0 |
xtable |
1.8 - 4 |
yaml |
2.2.1 |
安装Java和Scala库(Scala 2.12集群版本)
组ID |
工件ID |
版本 |
---|---|---|
antlr |
antlr |
2.7.7 |
com.amazonaws |
amazon-kinesis-client |
1.12.0 |
com.amazonaws |
aws-java-sdk-autoscaling |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudformation |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudfront |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudhsm |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudsearch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudtrail |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatch |
1.11.655 |
com.amazonaws |
aws-java-sdk-cloudwatchmetrics |
1.11.655 |
com.amazonaws |
aws-java-sdk-codedeploy |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitoidentity |
1.11.655 |
com.amazonaws |
aws-java-sdk-cognitosync |
1.11.655 |
com.amazonaws |
aws-java-sdk-config |
1.11.655 |
com.amazonaws |
aws-java-sdk-core |
1.11.655 |
com.amazonaws |
aws-java-sdk-datapipeline |
1.11.655 |
com.amazonaws |
aws-java-sdk-directconnect |
1.11.655 |
com.amazonaws |
aws-java-sdk-directory |
1.11.655 |
com.amazonaws |
aws-java-sdk-dynamodb |
1.11.655 |
com.amazonaws |
aws-java-sdk-ec2 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ecs |
1.11.655 |
com.amazonaws |
aws-java-sdk-efs |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticache |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticbeanstalk |
1.11.655 |
com.amazonaws |
aws-java-sdk-elasticloadbalancing |
1.11.655 |
com.amazonaws |
aws-java-sdk-elastictranscoder |
1.11.655 |
com.amazonaws |
aws-java-sdk-emr |
1.11.655 |
com.amazonaws |
aws-java-sdk-glacier |
1.11.655 |
com.amazonaws |
aws-java-sdk-iam |
1.11.655 |
com.amazonaws |
aws-java-sdk-importexport |
1.11.655 |
com.amazonaws |
aws-java-sdk-kinesis |
1.11.655 |
com.amazonaws |
aws-java-sdk-kms |
1.11.655 |
com.amazonaws |
aws-java-sdk-lambda |
1.11.655 |
com.amazonaws |
aws-java-sdk-logs |
1.11.655 |
com.amazonaws |
aws-java-sdk-machinelearning |
1.11.655 |
com.amazonaws |
aws-java-sdk-opsworks |
1.11.655 |
com.amazonaws |
aws-java-sdk-rds |
1.11.655 |
com.amazonaws |
aws-java-sdk-redshift |
1.11.655 |
com.amazonaws |
aws-java-sdk-route53 |
1.11.655 |
com.amazonaws |
aws-java-sdk-s3 |
1.11.655 |
com.amazonaws |
aws-java-sdk-ses |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpledb |
1.11.655 |
com.amazonaws |
aws-java-sdk-simpleworkflow |
1.11.655 |
com.amazonaws |
aws-java-sdk-sns |
1.11.655 |
com.amazonaws |
aws-java-sdk-sqs |
1.11.655 |
com.amazonaws |
aws-java-sdk-ssm |
1.11.655 |
com.amazonaws |
aws-java-sdk-storagegateway |
1.11.655 |
com.amazonaws |
aws-java-sdk-sts |
1.11.655 |
com.amazonaws |
aws-java-sdk-support |
1.11.655 |
com.amazonaws |
aws-java-sdk-swf-libraries |
1.11.22 |
com.amazonaws |
aws-java-sdk-workspaces |
1.11.655 |
com.amazonaws |
jmespath-java |
1.11.655 |
com.chuusai |
shapeless_2.12 |
2.3.3 |
com.clearspring.analytics |
流 |
2.9.6 |
com.databricks |
Rserve |
1.8 - 3 |
com.databricks |
jets3t |
0.7.1-0 |
com.databricks.scalapb |
compilerplugin_2.12 |
0.4.15-10 |
com.databricks.scalapb |
scalapb-runtime_2.12 |
0.4.15-10 |
com.esotericsoftware |
kryo-shaded |
4.0.2 |
com.esotericsoftware |
minlog |
1.3.0 |
com.fasterxml |
同学 |
1.3.4 |
com.fasterxml.jackson.core |
jackson-annotations |
2.10.0 |
com.fasterxml.jackson.core |
jackson-core |
2.10.0 |
com.fasterxml.jackson.core |
jackson-databind |
2.10.0 |
com.fasterxml.jackson.dataformat |
jackson-dataformat-cbor |
2.10.0 |
com.fasterxml.jackson.datatype |
jackson-datatype-joda |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-paranamer |
2.10.0 |
com.fasterxml.jackson.module |
jackson-module-scala_2.12 |
2.10.0 |
com.github.ben-manes.caffeine |
咖啡因 |
2.3.4 |
com.github.fommil |
jniloader |
1.1 |
com.github.fommil.netlib |
核心 |
1.1.2 |
com.github.fommil.netlib |
native_ref-java |
1.1 |
com.github.fommil.netlib |
native_ref-java-natives |
1.1 |
com.github.fommil.netlib |
native_system-java |
1.1 |
com.github.fommil.netlib |
native_system-java-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_ref-linux-x86_64-natives |
1.1 |
com.github.fommil.netlib |
netlib-native_system-linux-x86_64-natives |
1.1 |
com.github.joshelser |
dropwizard-metrics-hadoop-metrics2-reporter |
0.1.2 |
com.github.luben |
zstd-jni |
1.4.4-3 |
com.github.wendykierp |
JTransforms |
3.1 |
com.google.code.findbugs |
jsr305 |
3.0.0 |
com.google.code.gson |
gson |
2.2.4 |
com.google.flatbuffers |
flatbuffers-java |
1.9.0 |
com.google.guava |
番石榴 |
15.0 |
com.google.protobuf |
protobuf-java |
2.6.1 |
com.h2database |
h2 |
1.4.195 |
com.helger |
分析器 |
1.1.1 |
com.jcraft |
jsch |
0.1.50 |
com.jolbox |
bonecp |
0.8.0.RELEASE |
com.lihaoyi |
sourcecode_2.12 |
0.1.9 |
com.microsoft.azure |
azure-data-lake-store-sdk |
2.2.8 |
com.microsoft.sqlserver |
mssql-jdbc |
8.2.1.jre8 |
com.ning |
compress-lzf |
1.0.3 |
com.sun.mail |
javax.mail |
1.5.2 |
com.tdunning |
json |
1.8 |
com.thoughtworks.paranamer |
paranamer |
2.8 |
com.trueaccord.lenses |
lenses_2.12 |
0.4.12 |
com.twitter |
chill-java |
0.9.5 |
com.twitter |
chill_2.12 |
0.9.5 |
com.twitter |
util-app_2.12 |
7.1.0 |
com.twitter |
util-core_2.12 |
7.1.0 |
com.twitter |
util-function_2.12 |
7.1.0 |
com.twitter |
util-jvm_2.12 |
7.1.0 |
com.twitter |
util-lint_2.12 |
7.1.0 |
com.twitter |
util-registry_2.12 |
7.1.0 |
com.twitter |
util-stats_2.12 |
7.1.0 |
com.typesafe |
配置 |
1.2.1 " |
com.typesafe.scala-logging |
scala-logging_2.12 |
3.7.2章 |
com.univocity |
univocity-parsers |
2.9.0 |
com.zaxxer |
HikariCP |
3.1.0 |
commons-beanutils |
commons-beanutils |
1.9.4 |
commons-cli |
commons-cli |
1.2 |
commons-codec |
commons-codec |
1.10 |
commons-collections |
commons-collections |
3.2.2 |
commons configuration |
commons configuration |
1.6 |
commons-dbcp |
commons-dbcp |
1.4 |
commons-digester |
commons-digester |
1.8 |
commons-fileupload |
commons-fileupload |
1.3.3 |
commons-httpclient |
commons-httpclient |
3.1 |
commons-io |
commons-io |
2.4 |
commons lang |
commons lang |
2.6 |
通用日志 |
通用日志 |
1.1.3 |
commons net |
commons net |
3.1 |
commons-pool |
commons-pool |
1.5.4 |
info.ganglia.gmetric4j |
gmetric4j |
1.0.10 |
io.airlift |
aircompressor |
0.10 |
io.dropwizard.metrics |
metrics-core |
以下4.4.1 |
io.dropwizard.metrics |
metrics-graphite |
以下4.4.1 |
io.dropwizard.metrics |
metrics-healthchecks |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jetty9 |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jmx |
以下4.4.1 |
io.dropwizard.metrics |
metrics-json |
以下4.4.1 |
io.dropwizard.metrics |
metrics-jvm |
以下4.4.1 |
io.dropwizard.metrics |
metrics-servlets |
以下4.4.1 |
io.netty |
netty-all |
4.1.47.Final |
jakarta.annotation |
jakarta.annotation-api |
1.3.5 |
jakarta.validation |
jakarta.validation-api |
2.0.2 |
jakarta.ws.rs |
jakarta.ws.rs-api |
2.1.6 |
javax.activation |
激活 |
1.1.1 |
javax.el |
javax.el-api |
2.2.4 |
javax.jdo |
jdo api |
3.0.1 |
javax.servlet |
javax.servlet-api |
3.1.0 |
javax.servlet.jsp |
jsp-api |
2.1 |
javax.transaction |
jta |
1.1 |
javax.transaction |
事务api |
1.1 |
javax.xml.bind |
jaxb-api |
2.2.2 |
javax.xml.stream |
stax-api |
1.0 - 2 |
javolution |
javolution |
5.5.1 |
jline |
jline |
2.14.6 |
joda-time |
joda-time |
2.10.5 |
log4j |
apache-log4j-extras |
1.2.17 |
log4j |
log4j |
1.2.17 |
net.razorvine |
地幔岩 |
4.30 |
net.sf.jpam |
jpam |
1.1 |
net.sf.opencsv |
opencsv |
2.3 |
net.sf.supercsv |
super-csv |
2.2.0 |
net.snowflake |
snowflake-ingest-sdk |
0.9.6 |
net.snowflake |
snowflake-jdbc |
3.12.8 |
net.snowflake |
spark-snowflake_2.12 |
2.8.1-spark_3.0 |
net.sourceforge.f2j |
arpack_combined_all |
0.1 |
org.acplt.remotetea |
remotetea-oncrpc |
1.1.2 |
org.antlr |
ST4 |
4.0.4 |
org.antlr |
antlr-runtime |
3.5.2 |
org.antlr |
antlr4-runtime |
4.7.1 |
org.antlr |
stringtemplate |
3.2.1之上 |
org.apache.ant |
蚂蚁 |
1.9.2 |
org.apache.ant |
ant-jsch |
1.9.2 |
org.apache.ant |
ant-launcher |
1.9.2 |
org.apache.arrow |
arrow-format |
0.15.1 |
org.apache.arrow |
arrow-memory |
0.15.1 |
org.apache.arrow |
arrow-vector |
0.15.1 |
org.apache.avro |
avro |
1.8.2 |
org.apache.avro |
avro-ipc |
1.8.2 |
org.apache.avro |
avro-mapred-hadoop2 |
1.8.2 |
org.apache.commons |
commons-compress |
1.8.1 |
org.apache.commons |
commons-crypto |
1.0.0 |
org.apache.commons |
commons-lang3 |
3.9 |
org.apache.commons |
commons-math3 |
3.4.1 |
org.apache.commons |
commons-text |
1.6 |
org.apache.curator |
curator-client |
2.7.1 |
org.apache.curator |
curator-framework |
2.7.1 |
org.apache.curator |
curator-recipes |
2.7.1 |
org.apache.derby |
德比 |
10.12.1.1 |
org.apache.directory.api |
api-asn1-api |
1.0.0-M20 |
org.apache.directory.api |
api-util |
1.0.0-M20 |
org.apache.directory.server |
apacheds-i18n |
2.0.0-M15 |
org.apache.directory.server |
apacheds-kerberos-codec |
2.0.0-M15 |
org.apache.hadoop |
hadoop-annotations |
第2.7.4 |
org.apache.hadoop |
hadoop-auth |
第2.7.4 |
org.apache.hadoop |
hadoop-client |
第2.7.4 |
org.apache.hadoop |
hadoop-common |
第2.7.4 |
org.apache.hadoop |
hadoop-hdfs |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-app |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-common |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-core |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-jobclient |
第2.7.4 |
org.apache.hadoop |
hadoop-mapreduce-client-shuffle |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-api |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-client |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-common |
第2.7.4 |
org.apache.hadoop |
hadoop-yarn-server-common |
第2.7.4 |
org.apache.hive |
hive-beeline |
2.3.7 |
org.apache.hive |
hive-cli |
2.3.7 |
org.apache.hive |
hive-common |
2.3.7 |
org.apache.hive |
hive-exec-core |
2.3.7 |
org.apache.hive |
hive-jdbc |
2.3.7 |
org.apache.hive |
hive-llap-client |
2.3.7 |
org.apache.hive |
hive-llap-common |
2.3.7 |
org.apache.hive |
hive-metastore |
2.3.7 |
org.apache.hive |
hive-serde |
2.3.7 |
org.apache.hive |
hive-shims |
2.3.7 |
org.apache.hive |
hive-storage-api |
2.7.1 |
org.apache.hive |
hive-vector-code-gen |
2.3.7 |
org.apache.hive.shims |
蜂巢0.23 -垫片 |
2.3.7 |
org.apache.hive.shims |
hive-shims-common |
2.3.7 |
org.apache.hive.shims |
hive-shims-scheduler |
2.3.7 |
org.apache.htrace |
htrace-core |
3.1.0-incubating |
org.apache.httpcomponents |
httpclient |
4.5.6 |
org.apache.httpcomponents |
httpcore |
4.4.12 |
org.apache.ivy |
艾薇 |
测试盒框 |
org.apache.orc |
orc-core |
1.5.10 |
org.apache.orc |
orc-mapreduce |
1.5.10 |
org.apache.orc |
orc-shims |
1.5.10 |
org.apache.parquet |
parquet-column |
1.10.1-databricks6 |
org.apache.parquet |
parquet-common |
1.10.1-databricks6 |
org.apache.parquet |
parquet-encoding |
1.10.1-databricks6 |
org.apache.parquet |
parquet-format |
测试盒框 |
org.apache.parquet |
parquet-hadoop |
1.10.1-databricks6 |
org.apache.parquet |
parquet-jackson |
1.10.1-databricks6 |
org.apache.thrift |
libfb303 |
0.9.3 |
org.apache.thrift |
libthrift |
0.12.0 |
org.apache.velocity |
速度 |
1.5 |
org.apache.xbean |
xbean-asm7-shaded |
4.15 |
org.apache.yetus |
audience-annotations |
0.5.0 |
org.apache.zookeeper |
动物园管理员 |
3.4.14 |
org.codehaus.jackson |
jackson-core-asl |
1.9.13 |
org.codehaus.jackson |
jackson-jaxrs |
1.9.13 |
org.codehaus.jackson |
jackson-mapper-asl |
1.9.13 |
org.codehaus.jackson |
jackson-xc |
1.9.13 |
org.codehaus.janino |
commons-compiler |
3.0.16 |
org.codehaus.janino |
janino |
3.0.16 |
org.datanucleus |
datanucleus-api-jdo |
4.2.4 |
org.datanucleus |
datanucleus-core |
4.1.17 |
org.datanucleus |
datanucleus-rdbms |
4.1.19 |
org.datanucleus |
javax.jdo |
3.2.0-m3 |
org.eclipse.jetty |
jetty-client |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-continuation |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-http |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-io |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-jndi |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-plus |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-proxy |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-security |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty服务器 |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty servlet |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-servlets |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-util |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-webapp |
9.4.18.v20190429 |
org.eclipse.jetty |
jetty-xml |
9.4.18.v20190429 |
org.fusesource.leveldbjni |
leveldbjni-all |
1.8 |
org.glassfish.hk2 |
hk2-api |
2.6.1 |
org.glassfish.hk2 |
hk2-locator |
2.6.1 |
org.glassfish.hk2 |
hk2-utils |
2.6.1 |
org.glassfish.hk2 |
osgi-resource-locator |
1.0.3 |
org.glassfish.hk2.external |
aopalliance-repackaged |
2.6.1 |
org.glassfish.hk2.external |
jakarta.inject |
2.6.1 |
org.glassfish.jersey.containers |
jersey-container-servlet |
2.30 |
org.glassfish.jersey.containers |
jersey-container-servlet-core |
2.30 |
org.glassfish.jersey.core |
jersey客户端 |
2.30 |
org.glassfish.jersey.core |
jersey-common |
2.30 |
org.glassfish.jersey.core |
jersey-server |
2.30 |
org.glassfish.jersey.inject |
jersey-hk2 |
2.30 |
org.glassfish.jersey.media |
jersey-media-jaxb |
2.30 |
org.hibernate.validator |
hibernate验证框架 |
6.1.0.Final |
org.javassist |
javassist |
3.25.0-GA |
org.jboss.logging |
jboss-logging |
3.3.2.Final |
org.jdbi |
jdbi |
2.63.1 |
org.joda |
joda-convert |
1.7 |
org.jodd |
jodd-core |
3.5.2 |
org.json4s |
json4s-ast_2.12 |
3.6.6 |
org.json4s |
json4s-core_2.12 |
3.6.6 |
org.json4s |
json4s-jackson_2.12 |
3.6.6 |
org.json4s |
json4s-scalap_2.12 |
3.6.6 |
org.lz4 |
lz4-java |
1.7.1上 |
org.mariadb.jdbc |
mariadb-java-client |
2.1.2 |
org.objenesis |
objenesis |
2.5.1 |
org.postgresql |
postgresql |
42.1.4 |
org.roaringbitmap |
RoaringBitmap |
0.7.45 |
org.roaringbitmap |
垫片 |
0.7.45 |
org.rocksdb |
rocksdbjni |
6.2.2 |
org.rosuda.REngine |
REngine |
魅惑 |
org.scala-lang |
scala-compiler_2.12 |
2.12.10 |
org.scala-lang |
scala-library_2.12 |
2.12.10 |
org.scala-lang |
scala-reflect_2.12 |
2.12.10 |
org.scala-lang.modules |
scala-collection-compat_2.12 |
2.1.1 |
org.scala-lang.modules |
scala-parser-combinators_2.12 |
1.1.2 |
org.scala-lang.modules |
scala-xml_2.12 |
1.2.0 |
org.scala-sbt |
测试界面 |
1.0 |
org.scalacheck |
scalacheck_2.12 |
1.14.2 |
org.scalactic |
scalactic_2.12 |
3.0.8 |
org.scalanlp |
breeze-macros_2.12 |
1.0 |
org.scalanlp |
breeze_2.12 |
1.0 |
org.scalatest |
scalatest_2.12 |
3.0.8 |
org.slf4j |
jcl-over-slf4j |
1.7.30 |
org.slf4j |
jul-to-slf4j |
1.7.30 |
org.slf4j |
slf4j-api |
1.7.30 |
org.slf4j |
slf4j-log4j12 |
1.7.30 |
org.spark-project.spark |
未使用的 |
1.0.0 |
org.springframework |
spring核心 |
4.1.4.RELEASE |
org.springframework |
spring测试 |
4.1.4.RELEASE |
org.threeten |
threeten-extra |
1.5.0 |
org.tukaani |
xz |
1.5 |
org.typelevel |
algebra_2.12 |
2.0.0-M2 |
org.typelevel |
cats-kernel_2.12 |
2.0.0-M4 |
org.typelevel |
machinist_2.12 |
0.6.8 |
org.typelevel |
macro-compat_2.12 |
1.1.1 |
org.typelevel |
spire-macros_2.12 |
0.17.0-M1 |
org.typelevel |
spire-bob体育客户端下载platform_2.12 |
0.17.0-M1 |
org.typelevel |
spire-util_2.12 |
0.17.0-M1 |
org.typelevel |
spire_2.12 |
0.17.0-M1 |
org.xerial |
sqlite-jdbc |
3.8.11.2 |
org.xerial.snappy |
snappy-java |
1.1.7.5 |
org.yaml |
snakeyaml |
1.24 |
奥罗 |
奥罗 |
2.0.8 |
pl.edu.icm |
JLargeArrays |
1.5 |
software.amazon.ion |
ion-java |
1.0.2中 |
stax |
stax-api |
1.0.1 |
xmlenc |
xmlenc |
0.52 |