Databricks Runtime 4.0(不支持)

Databricks于2018年3月发布了这张图片。

重要的

本版本已于2018年11月1日弃用。有关Databricks Runtime弃用策略和计划的详细信息，请参见Databricks运行时支持生命周期．

以下发布说明提供了有关Databricks Runtime 4.0的信息，由Apache Spark提供支持。

变化和改进

  • JSON数据源现在尝试自动检测编码，而不是假设它是UTF-8。在自动检测失败的情况下，用户可以指定字符集选项强制某种编码。看到字符集显．

  • 完全支持在结构化流中使用Spark MLlib管道进行评分和预测。

  • Databricks ML模型导出完全支持。有了这个特性，您可以在Databricks上训练Spark MLlib模型，用函数调用导出它，并在您选择的系统中使用Databricks库来导入模型并对新数据进行评分。

  • 新的Spark数据源实现提供了对Azure Synapse Analytics的可伸缩读写访问。看到Spark - Synapse Analytics连接器．

  • 的模式。from_json函数现在总是转换为可空值。换句话说，包括嵌套字段在内的所有字段都是可空的。这确保了数据与模式兼容，当数据中缺少字段且用户提供的模式将字段声明为非空时，可以防止在将数据写入parquet后发生损坏。

  • 升级了一些已安装的Python库:

    • 期货:从3.1.1到3.2.0

    • 熊猫:从0.18.1到0.19.2

    • Pyarrow:从0.4.1到0.8.0

    • Setuptools: 38.2.3到38.5.1

    • 龙卷风:4.5.2至4.5.3

  • 升级了几个已安装的R库。看到已安装的R库．

  • 将AWS Java SDK从1.11.126升级到1.11.253。

  • 从6.1.0升级了SQL Server JDBC驱动程序。Jre8 ~ 6.2.2.jre8。

  • 将PostgreSQL JDBC驱动程序从9.4-1204-jdbc41升级到42.1.4。

Apache火花

Databricks Runtime 4.0包含Apache Spark 2.3.0。

Core、PySpark和Spark SQL

主要功能

  • 矢量化ORC阅读器：(火花- 16060):增加了对新的ORC读取器的支持，通过向量化(2-5倍)大大提高了ORC扫描吞吐量。要启用读卡器，用户可以设置spark.sql.orc.impl来本地的．

  • Spark History Server V2：(火花- 18085):新的SHS (spark history server)后端，通过更高效的事件存储机制，为大规模应用提供更好的可伸缩性。

  • 数据源API V2：(火花- 15689)(火花- 22386):用于在Spark中插入新数据源的实验性API。新的API试图解决V1 API的几个限制，旨在促进高性能、易于维护和可扩展的外部数据源的开发。这个API仍在积极开发中，预计会有突破性的变化。

  • PySpark性能增强：(火花- 22216)(火花- 21187):通过快速数据序列化和向量化执行，Python性能和互操作性得到显著改善。

性能和稳定性

其他显著变化

编程指南:Spark RDD编程指南而且Spark SQL DataFrames和Datasets指南．

结构化流

连续处理

  • 一个新的执行引擎，只需更改一行用户代码，就可以以亚毫秒级的端到端延迟执行流查询。要了解BOB低频彩更多信息，请参阅编程指南。

Stream-Stream连接

  • 能够连接两个数据流，缓冲行，直到匹配的元组到达另一个流。可以针对事件时间列使用谓词来绑定需要保留的状态量。

流媒体API V2

  • 一个实验性的API，用于插入新的源和接收器，适用于批处理、微批处理和连续执行。这个API仍在积极开发中，应该会有突破性的变化。

编程指南:结构化流媒体节目指南．

MLlib

突出了

  • ML预测现在与结构化流一起工作，使用更新的api。细节跟进。

新的和改进的api

  • (火花- 21866):内置支持读取图像到数据帧(Scala/Java/Python)。

  • (火花- 19634):用于矢量列上的描述性汇总统计的DataFrame函数(Scala/Java)。

  • (火花- 14516)：ClusteringEvaluator用于调整聚类算法，支持余弦轮廓和平方欧几里得轮廓度量(Scala/Java/Python)。

  • (火花- 3181):具有Huber损失的鲁棒线性回归(Scala/Java/Python)。

  • (火花- 13969)：FeatureHasher变压器(Scala / Java / Python)。

  • 多柱支持多种功能变压器:

  • (火花- 21633)而且火星- 21542改进了对Python中自定义管道组件的支持。

新功能

  • (火花- 21087)：CrossValidator而且TrainValidationSplit拟合时可以收集所有模型(Scala/Java)。这允许您检查或保存所有适合的模型。

  • (火花- 19357): Meta-algorithmsCrossValidator，TrainValidationSplit，OneVsRest支持并行性参数，用于在并行Spark作业中拟合多个子模型。

  • (火花- 17139):多项式逻辑回归模型总结(Scala/Java/Python)

  • (火花- 18710):在GLM中添加偏移量。

  • (火花- 20199):添加featureSubsetStrategy参数,GBTClassifier而且GBTRegressor．使用这种方法对特征进行子样本可以显著提高训练速度;这个选项一直是一个关键的优势xgboost．

其他显著变化

  • (火花- 22156):固定Word2Vec学习率的缩放全国矿工工会迭代。新的学习率与原来的学习率相匹配Word2VecC代码，应该会从训练中得到更好的结果。

  • (火花- 22289):添加JSON支持矩阵参数(这修复了ML持久化的错误LogisticRegressionModel当对系数使用边界时。)

  • (火花- 22700)：Bucketizer.transform错误地删除包含南．当参数handleInvalid被设置为"跳过"Bucketizer如果另一个(不相关的)列有一个有效值，会在输入列中删除一行吗南价值。

  • (火花- 22446):催化剂优化器有时会引起StringIndexerModel抛出不正确的“看不见的标签”异常时handleInvalid被设置为“错误”。对于过滤后的数据，由于谓词下推，即使已经从输入数据集中过滤了无效的行，也可能发生这种情况，导致错误。

  • (火花- 21681):修正了多项逻辑回归中导致某些特征方差为零时不正确系数的边缘情况错误。

  • 主要的优化:

编程指南:机器学习图书馆(MLlib)指南．

SparkR

在2.3.0版本中，SparkR的主要关注点是提高udf的稳定性，并围绕现有的api添加了几个新的SparkR包装器:

主要功能

编程指南:SparkR (R on Spark)．

GraphX

优化

编程指南:GraphX编程指南．

的用法

Python

MLlib

  • (火花- 13030)：OneHotEncoder已弃用，将在3.0移除。它已经被新的取代了OneHotEncoderEstimator．OneHotEncoderEstimator将被重命名为OneHotEncoder在3.0中(但是OneHotEncoderEstimator将保留为别名)。

行为的改变

SparkSQL

  • (火花- 22036):默认情况下，如果小数之间的算术运算无法精确表示，则返回四舍五入的值(而不是返回零在以前的版本中)

  • (火花- 22937):当所有输入都是二进制时，SQL英语教学()以二进制形式返回输出。否则，它将作为字符串返回。在以前的版本中，无论输入类型如何，它总是作为字符串返回。

  • (火花- 22895):如果可能的话，在第一个非确定性谓词之后的Join/Filter的确定性谓词也会下推/通过子操作符。在以前的版本中，这些筛选器不适合谓词下推。

  • (火花- 22771):当所有输入都是二进制时，functions.concat ()以二进制形式返回输出。否则，它将作为字符串返回。在以前的版本中，无论输入类型如何，它总是作为字符串返回。

  • (火花- 22489):当其中一个连接端是可广播的时，我们更倾向于广播在广播提示中显式指定的表。

  • (火花- 22165):分区列推断以前发现不同推断类型的不正确的公共类型。例如，之前它以双的通用类型双类型和日期类型。现在，它为此类冲突找到了正确的通用类型。具体操作请参见迁移指南。

  • (火花- 22100):percentile_approx先前接受的功能数字输入和输出双类型的结果。现在它支持日期类型,时间戳类型和数字类型作为输入类型。结果类型也被更改为与输入类型相同，这对于百分位数来说更合理。

  • (火花- 21610):当引用的列只包括内部损坏记录列(named . CSV)时，来自原始JSON/CSV文件的查询是不允许的_corrupt_record默认情况下)。相反，您可以缓存或保存解析后的结果，然后发送相同的查询。

  • (火花- 23421):从Spark 2.2.1和2.3.0开始，当数据源表的列同时存在于分区模式和数据模式中时，模式总是在运行时被推断出来。推断的模式没有分区列。在读取表时，Spark尊重这些重叠列的分区值，而不是存储在数据源文件中的值。在2.2.0和2.1。在X版本中，推断出来的模式是分区的，但是表的数据对用户是不可见的(即，结果集是空的)。

PySpark

  • (火花- 19732)：na.fill ()或fillna也接受布尔值并用布尔值替换空值。在之前的Spark版本中，PySpark只是忽略它并返回原始的Dataset/DataFrame。

  • (火花- 22395):熊猫0.19.2或以上是使用熊猫所需的相关功能，如toPandas，createDataFrame从pandas DataFrame等。

  • (火花- 22395): pandas相关功能的时间戳值的行为被更改为尊重会话时区，这在以前的版本中被忽略。

  • (火花- 23328)：df.replace不允许省略价值当to_replace不是字典。在此之前,价值在其他情况下可以省略没有一个默认情况下，这是反直觉和容易出错的。

MLlib

  • 打破API更改:对逻辑回归模型摘要的类和性状层次结构进行了修改，使其更清晰，更好地适应多类摘要的添加。类型的用户代码发生了突破性的更改LogisticRegressionTrainingSummary到一个BinaryLogisticRegressionTrainingSummary．用户应该使用model.binarySummary方法。看到(火花- 17139):获取更多细节(注意这是一个@ExperimentalAPI)。这不会影响Python的摘要方法，它仍然可以正确地用于多项和二进制情况。

  • (火花- 21806)：BinaryClassificationMetrics.pr ():第一个点(0.0,1.0)具有误导性，已被(0.0,p)取代，其中精度p匹配最低召回点。

  • (火花- 16957):决策树在选择分割值时使用加权中点。这可能会改变模型训练的结果。

  • (火花- 14657)：RFormula没有拦截现在输出引用类别编码字符串术语，以匹配本机R行为。这可能会改变模型训练的结果。

  • (火花- 21027)中使用的默认并行度OneVsRest现在设置为1(即串行)。在2.2和更早的版本中，并行度级别被设置为Scala中的默认线程池大小。这可能会改变性能。

  • (火花- 21523):将Breeze升级为0.13.2．这包括一个重要的错误修复强沃尔夫线搜索L-BFGS。

  • (火花- 15526): JPMML依赖项现在是阴影。

  • 另请参阅“Bug修复”部分，了解修复Bug导致的行为更改。

已知的问题

维护更新

看到Databricks Runtime 4.0维护更新．

系统环境

  • 操作系统: Ubuntu 16.04.4 LTS

  • Java: 1.8.0_151

  • Scala: 2.11.8

  • Python: 2.7.12(如果使用python3则为3.5.2)

  • R: R版本3.4.3 (2017-11-30)

  • GPU集群:安装了以下NVIDIA GPU库:

    • 特斯拉司机375.66

    • CUDA 8.0

    • CUDNN 6.0

已安装的Python库

图书馆

版本

图书馆

版本

图书馆

版本

ansi2html

1.1.1

argparse

1.2.1 "

backports-abc

0．5

宝途

2.42.0

boto3

1.4.1

botocore

1.4.70

brewer2mpl

1.4.1

certifi

2016.2.28

cffi

1.7.0

chardet

tripwire

彩色光

0.3.7

configobj

5.0.6

密码学

1．5

周期计

0.10.0

Cython

0.24.1

装饰

4.0.10

docutils

0.14

enum34

1.1.6

et-xmlfile

1.0.1

freetype-py

1.0.2中

funcsigs

1.0.2中

fusepy

2.0.4

期货

3.2.0

ggplot

0.6.8

html5lib

0.999

idna

2.1

ipaddress

1.0.16

ipython

2.2.0

ipython-genutils

0.1.0

jdcal

1.2

Jinja2

2.8

jmespath

0.9.0

llvmlite

0.13.0

lxml

3.6.4

MarkupSafe

0.23

matplotlib

1.5.3

mpld3

0.2

msgpack-python

0.4.7

ndg-httpsclient

0.3.3

numba

0.28.1

numpy

1.11.1

openpyxl

2.3.2

熊猫

0.19.2

pathlib2

魅惑

容易受骗的人

0.4.1

pexpect

4.0.1

pickleshare

0.7.4

枕头

3.3.1

皮普

9.0.1

厚度

3.9

prompt-toolkit

1.0.7

psycopg2

2.6.2

ptyprocess

0.5.1

py4j

0.10.3

pyarrow

0.8.0

pyasn1

0.1.9

pycparser

2.14

Pygments

2.1.3

PyGObject

3.20.0

pyOpenSSL

16.0.0

pyparsing

2.2.0

pypng

0.0.18

Python

2.7.12

python-dateutil

2.5.3

python-geohash

0.8.5

pytz

2016.6.1

请求

2.11.1

s3transfer

0.1.9

scikit-learn

0.18.1

scipy

0.18.1

冲刷

0.32

seaborn

是0.7.1

setuptools

38.5.1

simplejson

3.8.2

simples3

1．0

singledispatch

3.4.0.3

六个

1.10.0

statsmodels

0.6.1

龙卷风

4.5.3

traitlets

4.3.0

urllib3

1.19.1

virtualenv

15.0.1

wcwidth

0.1.7

轮

0.30.0

wsgiref

0.1.2

已安装的R库

图书馆

版本

图书馆

版本

图书馆

版本

abind

1.4 - 5

为了

0.2.0

补丁

1.1.1

基地

3.4.3

黑洞

1.65.0-1

bindr

0．1

bindrcpp

0.2

位

-12 - 1.1

bit64

0.9 7

bitops

1.0 6

团

1.1.0

引导

-20 - 1.3

酿造

1.0 6

扫帚

0.4.3

车

2.1 6

脱字符号

-77 - 6.0

时间

-51 - 2.3

类

-14 - 7.3

集群

2.0.6

codetools

-15 - 0.2

色彩

1.3 - 2

commonmark

1．4

编译器

3.4.3

蜡笔

1.3.4

旋度

3．0

CVST

0.2 - 1

data.table

1.10.4-3

数据集

3.4.3

DBI

0.7

ddalpha

1.3.1

DEoptimR

1.0 8

desc

1.1.1

devtools

1.13.4

二色视者

2.0 0

消化

0.6.12

dimRed

0.1.0

doMC

1.3.4

dplyr

0.7.4

DRR

发布

foreach

3

外国

-69 - 0.8

“绿带运动”

2.1.3

ggplot2

2.2.1

git2r

0.19.0

glmnet

-13 - 2.0

胶水

1.2.0

高尔

0.1.2

图形

3.4.3

grDevices

3.4.3

网格

3.4.3

gsubfn

0.6 6

gtable

0.2.0

水

3.16.0.1

httr

1.3.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

不小

0.9 6

迭代器

1.0.8

jsonlite

1．5

kernlab

-25 - 0.9

KernSmooth

-15 - 2.23

标签

0.3

晶格

-35 - 0.20

熔岩

1.5.1

lazyeval

0.2.1

的小

0.3.2

lme4

-14 - 1.1

lubridate

1.7.1上

magrittr

1．5

mapproj

1.2 - 5

地图

3.2.0

质量

-48 - 7.3

矩阵

-11 - 1.2

MatrixModels

0.4 - 1

memoise

1.1.0

方法

3.4.3

mgcv

-23 - 1.8

mime

0．5

minqa

1.2.4

mnormt

1.5 - 5

ModelMetrics

1.1.0

孟塞尔

0.4.3

mvtnorm

1.0 6

nlme

-131 - 3.1

nloptr

1.0.4

nnet

-12 - 7.3

numDeriv

2016.8 - 1

openssl

0.9.9

平行

3.4.3

pbkrtest

0.4 7

pkgconfig

2.0.1

pkgKitten

0.1.4

plogr

0.1 - 1

plyr

1.8.4

赞美

1.0.0

pROC

1.10.0

prodlim

1.6.1

原型

1.0.0

心理

1.7.8

purrr

0.2.4

quantreg

5.34

R.methodsS3

1.7.1上

R.oo

1.21.0

R.utils

2.6.0

R6

2.2.2

randomForest

-12 - 4.6

RColorBrewer

1.1 - 2

Rcpp

0.12.14

RcppEigen

0.3.3.3.1

RcppRoll

0.2.2

RCurl

1.95 - -4.8

食谱

0.1.1

reshape2

1.4.2

rlang

0.1.4

robustbase

0.92 8

RODBC

-15 - 1.3

roxygen2

6.0.1中

rpart

-12 - 4.1

rprojroot

1.2

Rserve

1.7 - 3

RSQLite

2．0

rstudioapi

0.7

尺度

0.5.0

sfsmisc

1.1 - 1

sp

1.2 - 5

SparkR

tripwire

SparseM

1.77

空间

-11 - 7.3

样条函数

3.4.3

sqldf

-11 - 0.4

statmod

1.4.30

统计数据

3.4.3

stats4

3.4.3

stringi

1.1.6

stringr

1.2.0

生存

2.41 - 3

tcltk

3.4.3

TeachingDemos

2.10

testthat

1.0.2中

宠物猫

1.3.4

tidyr

0.7.2

tidyselect

0.2.3

timeDate

3042.101

工具

3.4.3

跑龙套

3.4.3

viridisLite

0.2.0

晶须

0.3 - 2

withr

魅惑

xml2

1.1.1

安装Java和Scala库(Scala 2.11集群版本)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.7.3

com.amazonaws

aws-java-sdk-autoscaling

1.11.253

com.amazonaws

aws-java-sdk-cloudformation

1.11.253

com.amazonaws

aws-java-sdk-cloudfront

1.11.253

com.amazonaws

aws-java-sdk-cloudhsm

1.11.253

com.amazonaws

aws-java-sdk-cloudsearch

1.11.253

com.amazonaws

aws-java-sdk-cloudtrail

1.11.253

com.amazonaws

aws-java-sdk-cloudwatch

1.11.253

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.253

com.amazonaws

aws-java-sdk-codedeploy

1.11.253

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.253

com.amazonaws

aws-java-sdk-cognitosync

1.11.253

com.amazonaws

aws-java-sdk-config

1.11.253

com.amazonaws

aws-java-sdk-core

1.11.253

com.amazonaws

aws-java-sdk-datapipeline

1.11.253

com.amazonaws

aws-java-sdk-directconnect

1.11.253

com.amazonaws

aws-java-sdk-directory

1.11.253

com.amazonaws

aws-java-sdk-dynamodb

1.11.253

com.amazonaws

aws-java-sdk-ec2

1.11.253

com.amazonaws

aws-java-sdk-ecs

1.11.253

com.amazonaws

aws-java-sdk-efs

1.11.253

com.amazonaws

aws-java-sdk-elasticache

1.11.253

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.253

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.253

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.253

com.amazonaws

aws-java-sdk-emr

1.11.253

com.amazonaws

aws-java-sdk-glacier

1.11.253

com.amazonaws

aws-java-sdk-iam

1.11.253

com.amazonaws

aws-java-sdk-importexport

1.11.253

com.amazonaws

aws-java-sdk-kinesis

1.11.253

com.amazonaws

aws-java-sdk-kms

1.11.253

com.amazonaws

aws-java-sdk-lambda

1.11.253

com.amazonaws

aws-java-sdk-logs

1.11.253

com.amazonaws

aws-java-sdk-machinelearning

1.11.253

com.amazonaws

aws-java-sdk-opsworks

1.11.253

com.amazonaws

aws-java-sdk-rds

1.11.253

com.amazonaws

aws-java-sdk-redshift

1.11.253

com.amazonaws

aws-java-sdk-route53

1.11.253

com.amazonaws

aws-java-sdk-s3

1.11.253

com.amazonaws

aws-java-sdk-ses

1.11.253

com.amazonaws

aws-java-sdk-simpledb

1.11.253

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.253

com.amazonaws

aws-java-sdk-sns

1.11.253

com.amazonaws

aws-java-sdk-sqs

1.11.253

com.amazonaws

aws-java-sdk-ssm

1.11.253

com.amazonaws

aws-java-sdk-storagegateway

1.11.253

com.amazonaws

aws-java-sdk-sts

1.11.253

com.amazonaws

aws-java-sdk-support

1.11.253

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.253

com.amazonaws

jmespath-java

1.11.253

com.carrotsearch

hppc

0.7.2

com.chuusai

shapeless_2.11

2.3.2

com.clearspring.analytics

流

2.7.0

com.databricks

Rserve

1.8 - 3

com.databricks

dbml-local_2.11

0.3.0-db1-spark2.3

com.databricks

dbml-local_2.11-tests

0.3.0-db1-spark2.3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0.4.15-9

com.esotericsoftware

kryo-shaded

3.0.3

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.0.0

com.fasterxml.jackson.core

jackson-annotations

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

jackson-databind

2.6.7.1

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.6.7

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

jackson-module-paranamer

2.6.7

com.fasterxml.jackson.module

jackson-module-scala_2.11

2.6.7.1

com.github.fommil

jniloader

1．1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1．1

com.github.fommil.netlib

native_ref-java-natives

1．1

com.github.fommil.netlib

native_system-java

1．1

com.github.fommil.netlib

native_system-java-natives

1．1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1．1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1．1

com.github.luben

zstd-jni

1.3.2-2

com.github.rwl

jtransforms

测试盒框

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2.2.4

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

JavaEWAH

0.3.2

com.h2database

h2

1.3.174

com.jamesmurty.utils

java-xmlbuilder

1．1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.mchange

c3p0

0.9.5.1

com.mchange

mchange-commons-java

0.2.10

com.microsoft.azure

azure-data-lake-store-sdk

)

com.microsoft.sqlserver

mssql-jdbc

6.2.2.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.11

0.3

com.twitter

chill-java

0.8.4

com.twitter

chill_2.11

0.8.4

com.twitter

parquet-hadoop-bundle

1.6.0

com.twitter

util-app_2.11

6.23.0

com.twitter

util-core_2.11

6.23.0

com.twitter

util-jvm_2.11

6.23.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging-api_2.11

2.1.2

com.typesafe.scala-logging

scala-logging-slf4j_2.11

2.1.2

com.univocity

univocity-parsers

2.5.9

com.vlkan

flatbuffers

1.2.0-3f79e055

com.zaxxer

HikariCP

2.4.1

commons-beanutils

commons-beanutils

1.7.0

commons-beanutils

commons-beanutils-core

1.8.0

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1．4

commons-digester

commons-digester

1．8

commons-httpclient

commons-httpclient

3．1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

2．2

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io.airlift

aircompressor

0.8

io.dropwizard.metrics

metrics-core

3.1.5

io.dropwizard.metrics

metrics-ganglia

3.1.5

io.dropwizard.metrics

metrics-graphite

3.1.5

io.dropwizard.metrics

metrics-healthchecks

3.1.5

io.dropwizard.metrics

metrics-jetty9

3.1.5

io.dropwizard.metrics

metrics-json

3.1.5

io.dropwizard.metrics

metrics-jvm

3.1.5

io.dropwizard.metrics

metrics-log4j

3.1.5

io.dropwizard.metrics

metrics-servlets

3.1.5

io.netty

网状的

3.9.9.Final

io.netty

netty-all

4.1.17.Final

io.prometheus

simpleclient

0.0.16

io.prometheus

simpleclient_common

0.0.16

io.prometheus

simpleclient_dropwizard

0.0.16

io.prometheus

simpleclient_servlet

0.0.16

io.prometheus.jmx

收集器

0.7

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1．1

javax.validation

验证api

1.1.0.Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.11

joda-time

joda-time

2.9.3

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.hydromatic

eigenbase-properties

1.1.5

net.iharder

base64

2.3.8

net.java.dev.jets3t

jets3t

0.9.4

net.razorvine

地幔岩

4.13

net.sf.jpam

jpam

1．1

net.sf.opencsv

opencsv

2．3

net.sf.supercsv

super-csv

2.2.0

net.sourceforge.f2j

arpack_combined_all

0．1

org.acplt

oncrpc

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4．7

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.8.0

org.apache.arrow

arrow-memory

0.8.0

org.apache.arrow

arrow-vector

0.8.0

org.apache.avro

avro

1.7.7

org.apache.avro

avro-ipc

1.7.7

org.apache.avro

avro-ipc-tests

1.7.7

org.apache.avro

avro-mapred-hadoop2

1.7.7

org.apache.calcite

calcite-avatica

1.2.0-incubating

org.apache.calcite

calcite-core

1.2.0-incubating

org.apache.calcite

calcite-linq4j

1.2.0-incubating

org.apache.commons

commons-compress

1.4.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3．5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

2.7.3

org.apache.hadoop

hadoop-auth

2.7.3

org.apache.hadoop

hadoop-client

2.7.3

org.apache.hadoop

hadoop-common

2.7.3

org.apache.hadoop

hadoop-hdfs

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-app

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

hadoop-yarn-api

2.7.3

org.apache.hadoop

hadoop-yarn-client

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

hadoop-yarn-server-common

2.7.3

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.4

org.apache.httpcomponents

httpcore

4.4.8

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core-nohive

1.4.1

org.apache.orc

orc-mapreduce-nohive

1.4.1

org.apache.parquet

parquet-column

1.8.2-databricks1

org.apache.parquet

parquet-common

1.8.2-databricks1

org.apache.parquet

parquet-encoding

1.8.2-databricks1

org.apache.parquet

parquet-format

2.3.1

org.apache.parquet

parquet-hadoop

1.8.2-databricks1

org.apache.parquet

parquet-jackson

1.8.2-databricks1

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm5-shaded

4.4

org.apache.zookeeper

动物园管理员

3.4.6

org.bouncycastle

bcprov-jdk15on

1.58

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.8

org.codehaus.janino

janino

3.0.8

org.datanucleus

datanucleus-api-jdo

3.2.6

org.datanucleus

datanucleus-core

3.2.10

org.datanucleus

datanucleus-rdbms

3.2.9

org.eclipse.jetty

jetty-client

9.3.20.v20170531

org.eclipse.jetty

jetty-continuation

9.3.20.v20170531

org.eclipse.jetty

jetty-http

9.3.20.v20170531

org.eclipse.jetty

jetty-io

9.3.20.v20170531

org.eclipse.jetty

jetty-jndi

9.3.20.v20170531

org.eclipse.jetty

jetty-plus

9.3.20.v20170531

org.eclipse.jetty

jetty-proxy

9.3.20.v20170531

org.eclipse.jetty

jetty-security

9.3.20.v20170531

org.eclipse.jetty

jetty服务器

9.3.20.v20170531

org.eclipse.jetty

jetty servlet

9.3.20.v20170531

org.eclipse.jetty

jetty-servlets

9.3.20.v20170531

org.eclipse.jetty

jetty-util

9.3.20.v20170531

org.eclipse.jetty

jetty-webapp

9.3.20.v20170531

org.eclipse.jetty

jetty-xml

9.3.20.v20170531

org.fusesource.leveldbjni

leveldbjni-all

1．8

org.glassfish.hk2

hk2-api

2.4.0-b34

org.glassfish.hk2

hk2-locator

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-resource-locator

1.0.1

org.glassfish.hk2.external

aopalliance-repackaged

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.repackaged

jersey-guava

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

jersey客户端

2.22.2

org.glassfish.jersey.core

jersey-common

2.22.2

org.glassfish.jersey.core

jersey-server

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hibernate

hibernate验证框架

5.1.1.Final

org.iq80.snappy

时髦的

0.2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

jboss-logging

3.1.3.GA

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.11

3.2.11

org.json4s

json4s-core_2.11

3.2.11

org.json4s

json4s-jackson_2.11

3.2.11

org.lz4

lz4-java

1.4.0

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.mockito

mockito-all

1.9.5

org.objenesis

objenesis

2.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.5.11

org.rocksdb

rocksdbjni

5.2.1

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.11

2.11.8

org.scala-lang

scala-library_2.11

2.11.8

org.scala-lang

scala-reflect_2.11

2.11.8

org.scala-lang

scalap_2.11

2.11.8

org.scala-lang.modules

scala-parser-combinators_2.11

1.0.2中

org.scala-lang.modules

scala-xml_2.11

1.0.5

org.scala-sbt

测试界面

1．0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalanlp

breeze-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatest

scalatest_2.11

2.2.6款

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-to-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1.spark2

org.spark-project.hive

hive-cli

1.2.1.spark2

org.spark-project.hive

hive-exec

1.2.1.spark2

org.spark-project.hive

hive-jdbc

1.2.1.spark2

org.spark-project.hive

hive-metastore

1.2.1.spark2

org.spark-project.spark

未使用的

1.0.0

org.spire-math

spire-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.tukaani

xz

1．0

org.typelevel

machinist_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.2.6

org.yaml

snakeyaml

1.16

奥罗

奥罗

2.0.8

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52