Databricks运行时10.5(不支持)

以下发布说明提供了Databricks Runtime 10.5版本的相关信息,该版本由Apache Spark 3.2.1支持。Databricks于2022年5月发布了这些图像。

新功能和改进

SQL:新函数to_number而且try_to_number

to_number函数而且try_to_number函数允许您将各种格式的数字字符表示转换为小数

SQL:新函数try_sum

不像总和,Try_sum聚合函数当发生溢出时,返回NULL而不是错误。

SQL:更新到包含startswith,endswith功能

包含函数startswith函数,endswith函数现在除了字符串以外,还支持二进制数据类型作为输入。

SQL:新函数array_size

array_size函数计算数组的大小。

统一目录:SQL列表输出删除is_directory列并添加尾随/目录路径(公开预览)

SQL的输出列表语句,用于列出受统一目录已经改变了。的is_directory列不再显示。相反,表示目录的路径现在以尾随斜杠(/)路径而且的名字列。类的输出保持一致dbutils.fs.ls命令。

Auto Loader:新的SQL函数CLOUD_FILES_STATE

你可以用新的CLOUD_FILES_STATE函数查询Auto Loader流的内部状态;看到查询Auto Loader发现的文件

自动加载:文件通知支持现在是GA

文件通知支持什么是自动加载器?on谷歌Cloud现在普遍可用。

三角洲湖:新maxRecordsPerFile选项最多记录写入一个文件

当使用DataFrame api写入Delta表时,可以使用maxRecordsPerFile选项,指定要写入单个文件的最大记录数。指定值为零或负值表示没有限制。看到配置Delta Lake以控制数据文件大小

反对考拉

考拉现在已弃用。Koalas在Apache Spark上提供了pandas api。考拉是由社区贡献的,并已提供作为pandas Spark API从Apache Spark 3.2开始。Koalas将继续预装Databricks Runtime 10.5,但从下一个Databricks Runtime版本开始,Koalas将不再预装。

要了解BOB低频彩Spark上关于pandas API的更多信息,请参见:

谷歌BigQuery连接器:现在可以配置读取的箭头压缩编解码器

属性,现在可以配置谷歌BigQuery连接器用于读取的箭头压缩编解码器arrowCompressionCodecDataFrame选项。可用的选项包括:

  • COMPRESSION_UNSPECIFIED:不使用压缩(默认值)

  • ZSTD: Zstandard压缩

  • LZ4_FRAME:看LZ4帧格式说明

_metadata列用于所有文件格式

方法可以获取输入文件的元数据信息_metadata列。的_metadata列是隐藏的.此列可用于所有输入文件格式。要包括_metadata返回的DataFrame,则必须在查询中显式引用此列。看到文件元数据列

使用Databricks Runtime 10.5测试Delta Live Tables管道

现在支持Databricks Runtime 10.5预览版本的德尔塔活动表。要使用Databricks Runtime 10.5测试管道,请设置通道设置为预览在管道设置中。看到管道的设置

错误修复

  • 固定显示numUpdatedRows而且numCopiedRows启用了更改数据捕获(CDC)的Delta表上的更新操作的度量结果。

库升级

  • 升级的Python库:

    • 从5.5.0绘制到5.6.0

  • 升级的R库:

    • 从4.1.2到4.1.3

    • 插入从6.0-90到6.0-91

    • 集群从2.1.2到2.1.3

    • Commonmark从1.7到1.8.0

    • 编译器从4.1.2到4.1.3

    • 蜡笔从1.5.0到1.5.1

    • 数据集4.1.2至4.1.3

    • 从1.4.0描述到1.4.1

    • Fansi从1.0.2到1.0.3

    • 胶水从1.6.1到1.6.2

    • 4.1.2至4.1.3的图形

    • grDevices从4.1.2到4.1.3

    • 从4.1.2到4.1.3的网格

    • 针织衫从1.37到1.38

    • 质量从7.3-55到7.3-56

    • 矩阵从1.4-0到1.4-1

    • 4.1.2 ~ 4.1.3中的方法

    • MGCV从1.8-39增加到1.8-40

    • Nlme从3.1-155到3.1-157

    • Openssl从1.4.6到2.0.0

    • 平行于4.1.2到4.1.3

    • 从1.8.6到1.8.7

    • Processx从3.5.2到3.5.3

    • R2d3从0.2.5到0.2.6

    • Rcpp从1.0.8到1.0.8.3

    • Rlang从1.0.1到1.0.2

    • rmark从2.11降至2.13

    • 从2.2.10到2.2.11

    • Sass从0.4.0到0.4.1

    • 从4.1.2到4.1.3的样条

    • 从4.1.2到4.1.3的统计数据

    • 统计数据4从4.1.2到4.1.3

    • TCLTK从4.1.2到4.1.3

    • 4.1.2到4.1.3的工具

    • 从4.1.2到4.1.3的Utils

    • Uuid从1.0-3到1.0-4

    • Waldo从0.3.1到0.4.0

    • 从2.4.3到2.5.0

    • Xfun从0.29增加到0.30

  • 升级的Java库:

    • com.h2database。h2from 1.4.195 to 2.1.210

    • org.apache.hadoop。hadoop-client-apifrom 3.3.1-databricks to 3.3.2-databricks

    • org.apache.hadoop。Hadoop-client-runtime从3.3.1到3.3.2

    • Org.rocksdb.rocksdbjni从6.24.2到6.20.3

Apache火花

Databricks Runtime 10.5包含Apache Spark 3.2.1。此版本包括所有Spark修复和改进Databricks Runtime 10.4 LTS,以及以下对Spark的额外错误修复和改进:

  • (火花- 38354)[SC-97886]回复“[SQL]为打乱的哈希连接添加哈希探测度量”

  • (火花- 38484)[SAS-103][SAS-111][SAS-113][SC-98102][Cherry-Pick] Instrument PySpark SQL模块和通用日志记录器

  • (火花- 38333)[SQL] PlanExpression表达式应该跳过Executor中的addExprTree函数

  • (火花- 38646)[PYTHON][10。为Python函数提取trait

  • (火花- 38674)添加一个度量PhotonSubqueryBroadcastExec

  • (火花- 38787)[SS]将找到的值替换为其余列表中的非空元素,并从keyWithIndexToValue存储中的值中删除剩余的空元素,用于流-流连接

  • (火花- 38446)[核心]修复Log4j导致的ExecutorClassLoader和FileDownloadCallback之间的死锁

  • (火花- 38705)[SQL]在创建和删除函数命令中使用函数标识符

  • (火花- 38684)修正了流-流外部连接RocksDB状态存储提供程序的正确性问题

  • (火花- 38655)[SQL]OffsetWindowFunctionFrameBase无法找到输入非空的偏移行

  • (火花- 38204)[SS]使用statfulopclustereddistribution对有状态操作符进行向后兼容

  • (火花- 38616)在Catalyst TreeNode中跟踪SQL查询文本

  • (火花- 38600)[SQL]包括单位的SQL字符串TIMESTAMPADD / DIFF

  • (火花- 34805)[SQL]从Alias中嵌套的列传播元数据

  • (火花- 38535)[SQL]添加datetimeUnit枚举并在中使用它TIMESTAMPADD / DIFF

  • (火花- 38415)[SQL]更新histogram_numeric (x, y)结果类型,使x ==为输入类型

  • (火花- 38148)[SQL]如果存在静态分区修剪,则不添加动态分区修剪

  • (火花- 37527)[SQL]编译COVAR_POPCOVAR_SAMP而且相关系数H2Dialet

  • (火花- 38510)[SQL]重试ClassSymbol。selfType来处理循环引用

  • (火花- 38509)[SQL]取消注册TIMESTAMPADD / DIFF功能和移除DATE_ADD / DIFF

  • (火花- 38504)[SQL]无法将TimestampNTZ读取为TimestampLTZ

  • (火花- 38526)[SQL]修复RuntimeReplaceable函数别名的错误

  • (火花- 38335)实现对DEFAULT列值的解析器支持

  • (火花- 38593)[SS]将延迟事件数量的度量转移到sessionwindowstatestoreaveexec中

  • (火花- 38549)[SS]添加numRowsDroppedByWatermarkSessionWindowStateStoreRestoreExec

  • (火花- 38583)[SQL]恢复to_timestamp允许数值类型

  • (火花- 38481)替换Java溢出异常TIMESTAMPADDSpark异常

  • (火花- 37753)[SQL]微调逻辑降级广播哈希连接在DynamicJoinSelection

  • (火花- 37582)[SPARK-37583][SQL] CONTAINS, STARTSWITH, ENDSWITH应同时支持字符串和二进制类型

  • (火花- 38345)[SQL]介绍SQL函数ARRAY_SIZE

  • (火花- 38385)[SQL]改进空语句和错误信息< EOF >在抛出ParseException

  • (火花- 37614)[SQL]支持ANSI聚合函数:regr_avgx & regr_avgy

  • (火花- 38560)[SQL]如果总和任何伴随与分明,不能做局部agg推下。

  • (火花- 38360)[SQL][SS][PYTHON存在函数TreeNode消除重复的代码模式

  • (火花- 38385)[SQL]改进ANTLR的“输入不匹配”情况的错误消息

  • (火花- 38240)改进RuntimeReplaceable并添加添加新函数的指南

  • (火花- 38542)[SQL]UnsafeHashedRelation应该序列化numKeys

  • (火花- 38521)[SQL]变化partitionOverwriteMode从字符串到变量在Scala

  • (火花- 38558)[SQL]删除IntegerType和IntDecimal之间不必要的类型转换

  • (火花- 38489)[SQL]聚合。groupOnly支持可折叠表达式

  • (火花- 38410)[SQL]支持为rebalance指定初始分区号

  • (火花- 38107)[SQL]在python/pandas udf的编译错误中使用错误类

  • (火花- 38354)为打乱的哈希连接添加哈希探测度量

  • (火花- 38112)在日期/时间戳处理的执行错误中使用错误类

  • (火花- 38361)[SQL]添加工厂方法getConnectionJDBCDialect

  • (火花- 37865)[SQL]修复重复数据删除联合正确错误

  • (火花- 38298)[SQL][Tests]修复ANSI模式下的DataExpressionSuite, NullExpressionsSuite, StringExpressionsSuite, complexTypesSuite, CastSuite

  • (火花- 38407)[SQL] ANSI强制转换:放宽对非空复杂类型的强制转换限制

  • (火花- 38352)[SQL]修复ANSI模式下的DataFrameAggregateSuite/DataFrameSetOperationsSuite/DataFrameWindowFunctionsSuite

  • (火花- 38054)[SQL]支持JDBC v2 MySQL方言中的列表名称空间

  • (火花- 37960)在DS v2 api中表示催化剂表达式的新框架

  • (火花- 38103)[SQL]将transform的解析错误迁移到新的错误框架中

  • (火花- 38519)[SQL] AQE抛出异常应该尊重SparkFatalException

  • (火花- 38528)[SQL]在构建项目列表时急切地迭代聚合序列ExtractGenerator

  • (火花- 38320)[SS]修复flatMapGroupsWithState超时的批量数据键

  • (火花- 38442)[SQL]修复ANSI模式下的ConstantFoldingSuite/ColumnExpressionSuite/DataFrameSuite/AdaptiveQueryExecSuite的问题

  • (火花- 38268)[SQL]隐藏Abs/CheckOverflow的toString方法中的" failOnError "字段

  • (火花- 37949)[SQL]改进平衡统计估计

  • (火花- 38450)[SQL]修复ANSI模式下HiveQuerySuite//PushFoldableIntoBranchesSuite/TransposeWindowSuite的问题

  • (火花- 38501)[SQL]修复thriftserver在ANSI模式下测试失败的问题

  • (火花- 37895)[SQL]过滤带引号的下推列

  • (火花- 38449)[SQL]当ignoreIfExists=true且表存在时避免调用createTable

  • (火花- 38406)改进ShufflePartitionsUtil createSkewPartitionSpecs的性能

  • (火花- 37947)[SQL]从Generate操作符包含的GeneratorOuter表达式中提取生成器。

  • (火花- 38309)[核心]修复SHSshuffleTotalReads而且shuffleTotalBlocks百分比指标

  • (火花- 38412)修正了在StateSchemaCompatibilityChecker中from和to的交换序列

  • (火花- 38267)[CORE][SQL][SS]用条件语句替换布尔表达式中的模式匹配

  • (火花- 38104)[SQL]迁移窗口的解析错误到新的错误框架

  • (火花- 38434)[SQL] CheckAnalysis的正确语义。getDataTypesAreCompatibleFn方法

  • (火花- 38033)[SS]无法启动SS处理,因为com…

  • (火花- 38378)[SQL]将ANTLR语法定义重构为单独的Parser和Lexer文件

  • (火花- 37475)[SQL]在地板和天花板函数中添加缩放参数

  • (火花- 38411)(核心)使用utf - 8doMergeApplicationListingInternal读取事件日志

  • (火花- 36553)[ML] K means避免计算大K的辅助统计

  • (火花- 38393)[SQL]清除已弃用的用法GenSeq / GenMap

  • (火花- 38389)[SQL]添加DATEDIFF ()而且DATE_DIFF ()别名为TIMESTAMPDIFF ()

  • (火花- 33206)[CORE][3.2]修复小索引文件shuffle索引缓存权重计算问题

  • (火花- 38353)(PYTHON)仪器输入而且退出magic方法的熊猫API在Spark

  • (火花- 38323)[SQL][Streaming]支持Streaming中的隐藏文件元数据

  • (火花- 38138)具体化QueryPlan子查询

  • (火花- 38094)启用按字段id匹配模式列名

  • (火花- 37923)[SQL]在解析器中为BucketSpec生成分区转换

  • (火花- 38363)[SQL]避免ANSI模式开启时Dataset.summary()/Dataset.describe()中的运行时错误

  • (火花- 38284)[SQL]添加TIMESTAMPDIFF ()函数

  • (火花- 38251)[SQL]更改转换。来String as “cast” instead of “ansi_cast” under ANSI mode

  • (火花- 38314)[SQL]修复在写入隐藏文件元数据后无法读取parquet文件

看到Databricks Runtime 10.5维护更新

系统环境

  • 操作系统: Ubuntu 20.04.4 LTS

  • Java: Zulu 8.56.0.21-CA-linux64

  • Scala: 2.12.14

  • Python: 3.8.10

  • R: 4.1.3

  • 三角洲湖: 1.2.1 "

已安装的Python库

图书馆

版本

图书馆

版本

图书馆

版本

Antergos Linux

2015.10 (ISO-Rolling)

appdirs

1.4.4

argon2-cffi

20.1.0

async-generator

1.10

attrs

20.3.0

backcall

0.2.0

bidict

0.21.4

漂白剂

3.3.0

boto3

1.16.7

botocore

1.19.7

certifi

2020.12.5

cffi

1.14.5

chardet

4.0.0

周期计

0.10.0

Cython

0.29.23

dbus-python

1.2.16

装饰

5.0.6

defusedxml

是0.7.1

distlib

0.3.4

distro-info

0.23 ubuntu1

entrypoints

0.3

facets-overview

1.0.0

filelock

3.6.0

idna

2.10

ipykernel

5.3.4

ipython

7.22.0

ipython-genutils

0.2.0

ipywidgets

7.6.3

绝地武士

0.17.2

Jinja2

14

jmespath

0.10.0

joblib

1.0.1

jsonschema

3.2.0

jupyter-client

6.1.12

jupyter-core

4.7.1

jupyterlab-pygments

0.1.2

jupyterlab-widgets

1.0.0

kiwisolver

1.3.1

考拉

1.8.2

MarkupSafe

2.0.1

matplotlib

3.4.2

使走调

0.8.4

nbclient

0.5.3

nbconvert

6.0.7

nbformat

5.1.3

nest-asyncio

1.5.1

笔记本

6.3.0

numpy

1.20.1

包装

20.9

熊猫

1.2.4

pandocfilters

3

parso

0.7.0

容易受骗的人

0.5.1

pexpect

4.8.0

pickleshare

0.7.5

枕头

8.2.0

皮普

21.0.1

情节

5.6.0

prometheus-client

0.10.1

prompt-toolkit

3.0.17

protobuf

3.17.2

psycopg2

2.8.5

ptyprocess

0.7.0

pyarrow

4.0.0

pycparser

2.20

Pygments

2.8.1发布

PyGObject

3.36.0

pyparsing

2.4.7

pyrsistent

0.17.3

python-apt

2.0.0 + ubuntu0.20.4.7

python-dateutil

2.8.1发布

python-engineio

4.3.0

python-socketio

5.4.1之前

pytz

2020.5

pyzmq

20.0.0

请求

2.25.1

requests-unixsocket

0.2.0

s3transfer

0.3.7

scikit-learn

0.24.1

scipy

1.6.2

seaborn

0.11.1

Send2Trash

1.5.0

setuptools

52.0.0

六个

1.15.0

ssh-import-id

5.10

statsmodels

0.12.2

韧性

8.0.1

terminado

0.9.4

testpath

0.4.4

threadpoolctl

魅惑

龙卷风

6.1

traitlets

5.0.5

unattended-upgrades

0.1

urllib3

1.25.11

virtualenv

20.4.1

wcwidth

0.2.5

webencodings

0.5.1

0.36.2

widgetsnbextension

3.5.1

已安装的R库

R库从微软CRAN快照于2022-03-28

图书馆

版本

图书馆

版本

图书馆

版本

askpass

1.1

为了

0.2.1

补丁

1.4.1

基地

4.1.3

base64enc

0.1 - 3

4.0.4

bit64

1.2.2

引导

-28 - 1.3

酿造

1.0 7

生动

1.1.3

扫帚

0.7.12

bslib

0.3.1

cachem

1.0.6

callr

3.7.0

脱字符号

-91 - 6.0

cellranger

1.1.0

时间

-56 - 2.3

-20 - 7.3

cli

3.2.0

clipr

0.8.0

集群

2.1.3

codetools

-18 - 0.2

色彩

2.0 - 3

commonmark

1.8.0

编译器

4.1.3

配置

0.3.1

cpp11

0.4.2

蜡笔

1.5.1

凭证

1.3.2

旋度

4.3.2

data.table

1.14.2

数据集

4.1.3

DBI

1.1.2

dbplyr

2.1.1

desc

1.4.1

devtools

2.4.3

diffobj

0.3.5

消化

0.6.29

dplyr

1.0.8

dtplyr

1.2.1 "

e1071

1.7 9

省略

0.3.2

评估

0.15

fansi

1.0.3

farver

魅惑

fastmap

1.1.0

fontawesome

0.2.2

forcats

0.5.1

foreach

1.5.2

外国

-82 - 0.8

打造

0.2.0

fs

1.5.2

未来

1.24.0

future.apply

1.8.1

含漱剂

1.2.0

泛型

0.1.2

哥特

1.5.0

ggplot2

3.3.5

“大酒店”

1.3.0

gitcreds

0.1.1

glmnet

4.1 - 3

全局变量

0.14.0

胶水

1.6.2

googledrive

2.0.0

googlesheets4

1.0.0

高尔

1.0.0

图形

4.1.3

grDevices

4.1.3

网格

4.1.3

gridExtra

2.3

gsubfn

0.7

gtable

0.3.0

需要戴安全帽的

0.2.0

2.4.3

highr

0.9

hms

1.1.1

htmltools

0.5.2

htmlwidgets

1.5.4

httpuv

1.6.5

httr

1.4.2

hwriter

1.3.2

hwriterPlus

1.0 - 3

id

1.0.1

ini

0.3.1

不小

-12 - 0.9

isoband

0.2.5

迭代器

1.0.14

jquerylib

0.1.4

jsonlite

1.8.0

KernSmooth

-20 - 2.23

knitr

1.38

标签

0.4.2

晚些时候

1.3.0

晶格

-45 - 0.20

熔岩

1.6.10

生命周期

1.0.1

listenv

0.8.0

lubridate

1.8.0

magrittr

2.0.2

减价

1.1

质量

-56 - 7.3

矩阵

1.4 - 1

memoise

2.0.1

方法

4.1.3

mgcv

-40 - 1.8

mime

0.12

ModelMetrics

1.2.2.2

modelr

0.1.8

孟塞尔

0.5.0

nlme

-157 - 3.1

nnet

-17 - 7.3

numDeriv

2016.8 - -1.1

openssl

2.0.0

平行

4.1.3

平行

1.30.0

支柱

1.7.0

pkgbuild

1.3.1

pkgconfig

2.0.3

pkgload

1.2.4

plogr

0.2.0

plyr

1.8.7

赞美

1.0.0

prettyunits

1.1.1

pROC

1.18.0

processx

3.5.3

prodlim

2019.11.13

进步

1.2.2

progressr

0.10.0

承诺

1.2.0.1

原型

1.0.0

代理

-26 - 0.4

ps

1.6.0

purrr

0.3.4

r2d3

0.2.6虽然只是

R6

2.5.1

randomForest

4.7 - 1

rappdirs

0.3.3

rcmdcheck

1.4.0

RColorBrewer

1.1 - 2

Rcpp

1.0.8.3

RcppEigen

0.3.3.9.1

readr

2.1.2

readxl

1.3.1

食谱

0.2.0

复赛

1.0.1

rematch2

2.1.2

遥控器

2.4.2

reprex

2.0.1

reshape2

1.4.4

rlang

1.0.2中

rmarkdown

2.13

RODBC

-19 - 1.3

roxygen2

7.1.2

rpart

4.1.16

rprojroot

2.0.2

Rserve

-10 - 1.8

RSQLite

. 2.2.11

rstudioapi

0.13

rversions

2.1.1

房车

1.0.2中

萨斯

0.4.1

尺度

1.1.1

selectr

0.4 - 2

sessioninfo

1.2.2

形状

1.4.6

闪亮的

1.7.1上

sourcetools

0.1.7

sparklyr

1.7.5

SparkR

3.2.0

空间

-11 - 7.3

样条函数

4.1.3

sqldf

-11 - 0.4

SQUAREM

2021.1

统计数据

4.1.3

stats4

4.1.3

stringi

1.7.6

stringr

1.4.0

生存

-13 - 3.2

sys

3.4

tcltk

4.1.3

TeachingDemos

2.10

testthat

3.1.2

宠物猫

3.1.6

tidyr

1.2.0

tidyselect

1.1.2

tidyverse

1.3.1

timeDate

3043.102

tinytex

0.37

工具

4.1.3

tzdb

0.2.0

usethis

2.1.5

use utf8

1.2.2

跑龙套

4.1.3

uuid

1.0 - 4

vctrs

0.3.8

viridisLite

0.4.0

发呜呜声

1.5.7

沃尔多

0.4.0

晶须

0.4

withr

2.5.0

xfun

0.30

xml2

1.3.3

xopen

1.0.0

xtable

1.8 - 4

yaml

2.3.5

邮政编码

2.2.0

安装Java和Scala库(Scala 2.12集群版本)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.12.0

com.amazonaws

aws-java-sdk-autoscaling

1.12.189

com.amazonaws

aws-java-sdk-cloudformation

1.12.189

com.amazonaws

aws-java-sdk-cloudfront

1.12.189

com.amazonaws

aws-java-sdk-cloudhsm

1.12.189

com.amazonaws

aws-java-sdk-cloudsearch

1.12.189

com.amazonaws

aws-java-sdk-cloudtrail

1.12.189

com.amazonaws

aws-java-sdk-cloudwatch

1.12.189

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.12.189

com.amazonaws

aws-java-sdk-codedeploy

1.12.189

com.amazonaws

aws-java-sdk-cognitoidentity

1.12.189

com.amazonaws

aws-java-sdk-cognitosync

1.12.189

com.amazonaws

aws-java-sdk-config

1.12.189

com.amazonaws

aws-java-sdk-core

1.12.189

com.amazonaws

aws-java-sdk-datapipeline

1.12.189

com.amazonaws

aws-java-sdk-directconnect

1.12.189

com.amazonaws

aws-java-sdk-directory

1.12.189

com.amazonaws

aws-java-sdk-dynamodb

1.12.189

com.amazonaws

aws-java-sdk-ec2

1.12.189

com.amazonaws

aws-java-sdk-ecs

1.12.189

com.amazonaws

aws-java-sdk-efs

1.12.189

com.amazonaws

aws-java-sdk-elasticache

1.12.189

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.12.189

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.12.189

com.amazonaws

aws-java-sdk-elastictranscoder

1.12.189

com.amazonaws

aws-java-sdk-emr

1.12.189

com.amazonaws

aws-java-sdk-glacier

1.12.189

com.amazonaws

aws-java-sdk-glue

1.12.189

com.amazonaws

aws-java-sdk-iam

1.12.189

com.amazonaws

aws-java-sdk-importexport

1.12.189

com.amazonaws

aws-java-sdk-kinesis

1.12.189

com.amazonaws

aws-java-sdk-kms

1.12.189

com.amazonaws

aws-java-sdk-lambda

1.12.189

com.amazonaws

aws-java-sdk-logs

1.12.189

com.amazonaws

aws-java-sdk-machinelearning

1.12.189

com.amazonaws

aws-java-sdk-opsworks

1.12.189

com.amazonaws

aws-java-sdk-rds

1.12.189

com.amazonaws

aws-java-sdk-redshift

1.12.189

com.amazonaws

aws-java-sdk-route53

1.12.189

com.amazonaws

aws-java-sdk-s3

1.12.189

com.amazonaws

aws-java-sdk-ses

1.12.189

com.amazonaws

aws-java-sdk-simpledb

1.12.189

com.amazonaws

aws-java-sdk-simpleworkflow

1.12.189

com.amazonaws

aws-java-sdk-sns

1.12.189

com.amazonaws

aws-java-sdk-sqs

1.12.189

com.amazonaws

aws-java-sdk-ssm

1.12.189

com.amazonaws

aws-java-sdk-storagegateway

1.12.189

com.amazonaws

aws-java-sdk-sts

1.12.189

com.amazonaws

aws-java-sdk-support

1.12.189

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.12.189

com.amazonaws

jmespath-java

1.12.189

com.chuusai

shapeless_2.12

2.3.3

com.clearspring.analytics

2.9.6

com.databricks

Rserve

1.8 - 3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.12

0.4.15-10

com.databricks.scalapb

scalapb-runtime_2.12

0.4.15-10

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.3.4

com.fasterxml.jackson.core

jackson-annotations

2.12.3

com.fasterxml.jackson.core

jackson-core

2.12.3

com.fasterxml.jackson.core

jackson-databind

2.12.3

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.12.3

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.12.3

com.fasterxml.jackson.module

jackson-module-paranamer

2.12.3

com.fasterxml.jackson.module

jackson-module-scala_2.12

2.12.3

com.github.ben-manes.caffeine

咖啡因

2.3.4

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.5.0-4

com.github.wendykierp

JTransforms

3.1

com.google.code.findbugs

jsr305

3.0.0

com.google.code.gson

gson

2.8.6

com.google.crypto.tink

叮叮铃

1.6.0

com.google.flatbuffers

flatbuffers-java

1.9.0

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.h2database

h2

2.1.210

com.helger

分析器

1.1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.lihaoyi

sourcecode_2.12

0.1.9

com.microsoft.azure

azure-data-lake-store-sdk

2.3.9

com.ning

compress-lzf

1.0.3

com.sun.istack

istack-commons-runtime

3.0.8

com.sun.mail

javax.mail

1.5.2

com.tdunning

json

1.8

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.12

0.4.12

com.twitter

chill-java

0.10.0

com.twitter

chill_2.12

0.10.0

com.twitter

util-app_2.12

7.1.0

com.twitter

util-core_2.12

7.1.0

com.twitter

util-function_2.12

7.1.0

com.twitter

util-jvm_2.12

7.1.0

com.twitter

util-lint_2.12

7.1.0

com.twitter

util-registry_2.12

7.1.0

com.twitter

util-stats_2.12

7.1.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging_2.12

3.7.2章

com.univocity

univocity-parsers

2.9.1

com.zaxxer

HikariCP

4.0.3

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.15

commons-collections

commons-collections

3.2.2

commons-dbcp

commons-dbcp

1.4

commons-fileupload

commons-fileupload

1.3.3

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.8.0

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3.1

commons-pool

commons-pool

1.5.4

dev.ludovic.netlib

arpack

2.2.1

dev.ludovic.netlib

布拉斯特区

2.2.1

dev.ludovic.netlib

lapack

2.2.1

蜂巢3.2 - 2.3 - __hadoop -

jets3t - 0.7

liball_deps_2.12

info.ganglia.gmetric4j

gmetric4j

1.0.10

io.airlift

aircompressor

0.21

io.delta

delta-sharing-spark_2.12

0.4.0

io.dropwizard.metrics

metrics-core

以下4.4.1

io.dropwizard.metrics

metrics-graphite

以下4.4.1

io.dropwizard.metrics

metrics-healthchecks

以下4.4.1

io.dropwizard.metrics

metrics-jetty9

以下4.4.1

io.dropwizard.metrics

metrics-jmx

以下4.4.1

io.dropwizard.metrics

metrics-json

以下4.4.1

io.dropwizard.metrics

metrics-jvm

以下4.4.1

io.dropwizard.metrics

metrics-servlets

以下4.4.1

io.netty

netty-all

4.1.68.Final

io.prometheus

simpleclient

0.7.0

io.prometheus

simpleclient_common

0.7.0

io.prometheus

simpleclient_dropwizard

0.7.0

io.prometheus

simpleclient_pushgateway

0.7.0

io.prometheus

simpleclient_servlet

0.7.0

io.prometheus.jmx

收集器

0.12.0

jakarta.annotation

jakarta.annotation-api

1.3.5

jakarta.servlet

jakarta.servlet-api

4.0.3

jakarta.validation

jakarta.validation-api

2.0.2

jakarta.ws.rs

jakarta.ws.rs-api

2.1.6

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1.3.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.transaction

jta

1.1

javax.transaction

事务api

1.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.10.10

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

maven-trees

蜂巢3.2 - 2.3 - __hadoop -

liball_deps_2.12

net.java.dev.jna

jna

5.8.0

net.razorvine

地幔岩

4.30

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.6

net.snowflake

snowflake-jdbc

3.13.3

net.snowflake

spark-snowflake_2.12

2.9.0-spark_3.1

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt.remotetea

remotetea-oncrpc

1.1.2

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.5.2

org.antlr

antlr4-runtime

4.8

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

2.0.0

org.apache.arrow

arrow-memory-core

2.0.0

org.apache.arrow

arrow-memory-netty

2.0.0

org.apache.arrow

arrow-vector

2.0.0

org.apache.avro

avro

1.10.2

org.apache.avro

avro-ipc

1.10.2

org.apache.avro

avro-mapred

1.10.2

org.apache.commons

commons-compress

1.21

org.apache.commons

commons-crypto

1.1.0

org.apache.commons

commons-lang3

3.12.0

org.apache.commons

commons-math3

3.4.1

org.apache.commons

commons-text

1.6

org.apache.curator

curator-client

2.13.0

org.apache.curator

curator-framework

2.13.0

org.apache.curator

curator-recipes

2.13.0

org.apache.derby

德比

10.14.2.0

org.apache.hadoop

hadoop-client-api

3.3.2-databricks

org.apache.hadoop

hadoop-client-runtime

3.3.2

org.apache.hive

hive-beeline

2.3.9

org.apache.hive

hive-cli

2.3.9

org.apache.hive

hive-jdbc

2.3.9

org.apache.hive

hive-llap-client

2.3.9

org.apache.hive

hive-llap-common

2.3.9

org.apache.hive

hive-serde

2.3.9

org.apache.hive

hive-shims

2.3.9

org.apache.hive

hive-storage-api

2.7.2

org.apache.hive.shims

蜂巢0.23 -垫片

2.3.9

org.apache.hive.shims

hive-shims-common

2.3.9

org.apache.hive.shims

hive-shims-scheduler

2.3.9

org.apache.httpcomponents

httpclient

4.5.13

org.apache.httpcomponents

httpcore

4.4.12

org.apache.ivy

艾薇

2.5.0

org.apache.mesos

mesos-shaded-protobuf

1.4.0

org.apache.orc

orc-core

1.6.13

org.apache.orc

orc-mapreduce

1.6.13

org.apache.orc

orc-shims

1.6.13

org.apache.parquet

parquet-column

1.12.0-databricks-0004

org.apache.parquet

parquet-common

1.12.0-databricks-0004

org.apache.parquet

parquet-encoding

1.12.0-databricks-0004

org.apache.parquet

parquet-format-structures

1.12.0-databricks-0004

org.apache.parquet

parquet-hadoop

1.12.0-databricks-0004

org.apache.parquet

parquet-jackson

1.12.0-databricks-0004

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.12.0

org.apache.xbean

xbean-asm9-shaded

4.20

org.apache.yetus

audience-annotations

0.5.0

org.apache.zookeeper

动物园管理员

操作

org.apache.zookeeper

zookeeper-jute

操作

org.checkerframework

checker-qual

3.5.0

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.janino

commons-compiler

3.0.16

org.codehaus.janino

janino

3.0.16

org.datanucleus

datanucleus-api-jdo

4.2.4

org.datanucleus

datanucleus-core

4.1.17

org.datanucleus

datanucleus-rdbms

4.1.19

org.datanucleus

javax.jdo

3.2.0-m3

org.eclipse.jetty

jetty-client

9.4.43.v20210629

org.eclipse.jetty

jetty-continuation

9.4.43.v20210629

org.eclipse.jetty

jetty-http

9.4.43.v20210629

org.eclipse.jetty

jetty-io

9.4.43.v20210629

org.eclipse.jetty

jetty-jndi

9.4.43.v20210629

org.eclipse.jetty

jetty-plus

9.4.43.v20210629

org.eclipse.jetty

jetty-proxy

9.4.43.v20210629

org.eclipse.jetty

jetty-security

9.4.43.v20210629

org.eclipse.jetty

jetty服务器

9.4.43.v20210629

org.eclipse.jetty

jetty servlet

9.4.43.v20210629

org.eclipse.jetty

jetty-servlets

9.4.43.v20210629

org.eclipse.jetty

jetty-util

9.4.43.v20210629

org.eclipse.jetty

jetty-util-ajax

9.4.43.v20210629

org.eclipse.jetty

jetty-webapp

9.4.43.v20210629

org.eclipse.jetty

jetty-xml

9.4.43.v20210629

org.eclipse.jetty.websocket

websocket-api

9.4.43.v20210629

org.eclipse.jetty.websocket

websocket-client

9.4.43.v20210629

org.eclipse.jetty.websocket

websocket-common

9.4.43.v20210629

org.eclipse.jetty.websocket

websocket服务器

9.4.43.v20210629

org.eclipse.jetty.websocket

websocket-servlet

9.4.43.v20210629

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.6.1

org.glassfish.hk2

hk2-locator

2.6.1

org.glassfish.hk2

hk2-utils

2.6.1

org.glassfish.hk2

osgi-resource-locator

1.0.3

org.glassfish.hk2.external

aopalliance-repackaged

2.6.1

org.glassfish.hk2.external

jakarta.inject

2.6.1

org.glassfish.jaxb

jaxb运行时

2.3.2

org.glassfish.jersey.containers

jersey-container-servlet

2.34

org.glassfish.jersey.containers

jersey-container-servlet-core

2.34

org.glassfish.jersey.core

jersey客户端

2.34

org.glassfish.jersey.core

jersey-common

2.34

org.glassfish.jersey.core

jersey-server

2.34

org.glassfish.jersey.inject

jersey-hk2

2.34

org.hibernate.validator

hibernate验证框架

6.1.0.Final

org.javassist

javassist

3.25.0-GA

org.jboss.logging

jboss-logging

3.3.2.Final

org.jdbi

jdbi

2.63.1

org.jetbrains

注释

17.0.0

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.12

3.7.0-M11

org.json4s

json4s-core_2.12

3.7.0-M11

org.json4s

json4s-jackson_2.12

3.7.0-M11

org.json4s

json4s-scalap_2.12

3.7.0-M11

org.lz4

lz4-java

1.7.1上

org.mariadb.jdbc

mariadb-java-client

2.2.5

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.2.19

org.roaringbitmap

RoaringBitmap

0.9.14

org.roaringbitmap

垫片

0.9.14

org.rocksdb

rocksdbjni

6.20.3

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.12

2.12.14

org.scala-lang

scala-library_2.12

2.12.14

org.scala-lang

scala-reflect_2.12

2.12.14

org.scala-lang.modules

scala-collection-compat_2.12

2.4.3

org.scala-lang.modules

scala-parser-combinators_2.12

1.1.2

org.scala-lang.modules

scala-xml_2.12

1.2.0

org.scala-sbt

测试界面

1.0

org.scalacheck

scalacheck_2.12

1.14.2

org.scalactic

scalactic_2.12

3.0.8

org.scalanlp

breeze-macros_2.12

1.2

org.scalanlp

breeze_2.12

1.2

org.scalatest

scalatest_2.12

3.0.8

org.slf4j

jcl-over-slf4j

1.7.30

org.slf4j

jul-to-slf4j

1.7.30

org.slf4j

slf4j-api

1.7.30

org.slf4j

slf4j-log4j12

1.7.30

org.spark-project.spark

未使用的

1.0.0

org.threeten

threeten-extra

1.5.0

org.tukaani

xz

1.8

org.typelevel

algebra_2.12

2.0.1

org.typelevel

cats-kernel_2.12

2.1.1

org.typelevel

macro-compat_2.12

1.1.1

org.typelevel

spire-macros_2.12

0.17.0

org.typelevel

spire-bob体育客户端下载platform_2.12

0.17.0

org.typelevel

spire-util_2.12

0.17.0

org.typelevel

spire_2.12

0.17.0

org.wildfly.openssl

wildfly-openssl

1.0.7.Final

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.8.4

org.yaml

snakeyaml

1.24

奥罗

奥罗

2.0.8

pl.edu.icm

JLargeArrays

1.5

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1