Databricks Runtime 5.5 LTS(不支持)

Databricks于2019年7月发布了这张图片。2019年8月，它被宣布为长期支持(LTS)。支持于2021年7月27日结束。Databricks Runtime 5.5扩展支持(不支持)于2021年7月8日发布，并将5.5支持延长至2021年12月。它使用Ubuntu 18.04.5 LTS，而不是在原来的Databricks Runtime 5.5 LTS中使用的已弃用的Ubuntu 16.04.6 LTS发行版。Ubuntu 16.04.6 LTS支持已于2021年4月1日停止。

以下发布说明提供了Databricks运行时5.5的信息，由Apache Spark提供支持。

新功能

Delta Lake在Databricks自动优化

如今，当您将数据写入云存储时，您需要压缩文件以获得最佳的I/O性能。您必须考虑正确的文件大小、压缩文件的频率、使用多大的集群等等。为了解决这类问题，我们很高兴地宣布在Databricks上使用Delta Lake进行自动优化。在每次写入Delta表的过程中，我们自动计算出正确的文件大小和压缩文件，这样您就不必担心优化存储布局。时，如果自动最优化选择是真正的， Databricks自动确定是否需要优化，并优化小文件。详细信息请参见自动优化Databricks．

Delta Lake在Databricks上改进了最小值、最大值和计数聚合查询性能

通过减少读取的数据量，Databricks上Delta Lake的min、max和count聚合查询的性能得到了显著提高。这些查询现在使用元数据中的统计信息和分区值运行，而不是扫描数据。

AWS S3上对Delta表的Presto和Athena支持(公开预览)

您现在可以从外部工具(如Presto和Athena)查询Delta表。当从清单文件中读取要处理的数据文件列表时，Presto和Athena支持从外部表中读取数据文件，清单文件是一个文本文件，其中包含要读取的数据文件列表以查询表。当使用清单文件在Hive metastore中定义外部表时，Presto和Athena使用清单中的文件列表，而不是通过目录列表查找文件。

胶水目录为Databricks metastore

Glue Catalog支持通常是可用的。该特性允许您配置Databricks Runtime，以使用AWS Glue Data Catalog作为其亚存储，它可以直接代替外Hive亚瘤．它还允许多个Databricks工作区共享相同的metastore。有关更多信息和限制，请参见使用AWS胶水数据目录作为一个亚矿．

预览

凭据透传胶水目录是在私人预览．如果您想尝试一下，请联系技术支持。

具有改进的二进制文件数据源和标量迭代器pandas UDF(公开预览)的更快的模型推断管道

机器学习任务，特别是在图像和视频领域，经常需要操作大量的文件。在Databricks Runtime 5.4中，我们已经提供了二进制文件数据源，以帮助ETL任意文件(如图像)进入Spark表。在Databricks运行时5.5中，我们添加了一个选项，recursiveFileLookup，以递归地从嵌套的输入目录加载文件。看到二进制文件．

二进制文件数据源允许您使用标量pandas UDF从Spark表并行运行模型推断任务。但是，您可能必须为每个记录批处理初始化模型，这会带来开销。在Databricks Runtime 5.5中，我们从Apache Spark master中反向移植了一种新的名为“标量迭代器”的pandas UDF类型。有了它，你可以只初始化一个模型一次，并将模型应用于多个输入批次，这可以使ResNet50等模型的速度提高2-3倍。看到从系列到标量UDF．

R笔记本中的秘密API

的秘密的API让你不用硬编码就能把秘密注入笔记本。除了对Python和Scala笔记本的现有支持外，这个API现在也可以在R笔记本中使用。您可以使用dbutils.secrets.get获取秘密的函数。秘密在打印到笔记本单元之前被编辑。

改进

  • 支持在Python中运行Delta Lake SQL操作foreachBatch:我们已经修复了不能从内部写入Delta表的已知限制foreachBatchPython中定义的结构化流查询。这在常见的Python流工作负载中很有用;例如,使用MERGE和foreachBatch在更新模式下写入流聚合．

  • 存储在Azure Data Lake Gen2中的Delta表的性能:ADLS Gen2上对Delta表的最新版本的检查现在只检查事务日志的结尾，而不是列出所有可用的版本。这个优化使得更新一个常数时间的操作，显著提高延迟。

  • 优化的可扩展性ZORDER通过:在非常大的Delta表上的z排序现在使用更小的工作单元，这些工作单元由高级准入控制控制。该特性在不牺牲集群利用率的情况下提高了操作的稳定性。

  • 在包含大量列的表上改进DML命令的性能:我们现在在扫描中匹配数据时执行更好的列修剪更新，删除,合并命令。

  • 在Spark - Synapse Analytics连接器中支持VNet +服务端点设置:我们将ADL Gen2路径添加到允许列表中作为临时数据位置(.option(“tempDir”,“abfss: / /……”))，并添加了一个名为useAzureMSI，来代替forward_spark_azure_storage_credentials以防你Synapse Analytics配置为通过托管身份验证您的V2存储帐户．

  • 磁盘缓存自动失效:磁盘缓存现在自动检测缓存后被修改或覆盖的文件。任何过期的条目都将自动失效并从缓存中删除。看到在Databricks上使用缓存优化性能．

  • 将Python库轮从0.33.3升级到0.33.4。

  • 将R库nlme从3.1-139升级到3.1-140。

错误修复

  • 修复了S3-SQS/ABS-AQS连接器在删除和重新添加文件时可能会碰到损坏的Delta表错误的错误。

  • 修复不运行Spark作业的R命令被取消的问题。以前，不运行Spark作业的R命令可以被取消，但笔记本的状态会丢失;现在可以取消命令而不丢失笔记本状态。

  • 删除或移动托管表现在会使缓存的Delta Lake日志失效。

  • 修正了写入Delta Lake检查点可能失败的错误FileAlreadyExistsException．

  • Scala REPL现在设置正确的—target: jvm - 1.8标志来支持调用使用Java 8特性的Java方法。

Apache火花

Databricks Runtime 5.5包含Apache Spark 2.4.3。此版本包括所有Spark修复和改进Databricks Runtime 5.4(不支持)，以及以下对Spark的额外错误修复和改进:

维护更新

看到Databricks Runtime 5.5维护更新．

系统环境

  • 操作系统: Ubuntu 16.04.6 LTS

  • Java: 1.8.0_252

  • Scala: 2.11.12

  • PythonPython 2集群为2.7.12,Python 3集群为3.5.2。

  • R: R版本3.6.0 (2019-04-26)

  • GPU集群:安装了以下NVIDIA GPU库:

    • 特斯拉司机375.66

    • CUDA 9.0

    • cuDNN 7.0

请注意

虽然在Apache Spark 2.4中支持Scala 2.12，但在Databricks Runtime 5.5中不支持。

已安装的Python库

图书馆

版本

图书馆

版本

图书馆

版本

ansi2html

1.1.1

argparse

1.2.1 "

backports-abc

0．5

宝途

2.42.0

boto3

1.4.1

botocore

1.4.70

brewer2mpl

1.4.1

certifi

2016.2.28

cffi

1.7.0

chardet

tripwire

彩色光

0.3.7

configobj

5.0.6

密码学

1．5

周期计

0.10.0

Cython

0.24.1

装饰

4.0.10

docutils

0.14

enum34

1.1.6

et-xmlfile

1.0.1

freetype-py

1.0.2中

funcsigs

1.0.2中

fusepy

2.0.4

期货

3.2.0

ggplot

0.6.8

html5lib

0.999

idna

2.1

ipaddress

1.0.16

ipython

2.2.0

ipython-genutils

0.1.0

jdcal

1．2

Jinja2

2.8

jmespath

0.9.0

llvmlite

0.13.0

lxml

3.6.4

MarkupSafe

0.23

matplotlib

1.5.3

mpld3

0.2

msgpack-python

0.4.7

ndg-httpsclient

0.3.3

numba

0.28.1

numpy

1.11.1

openpyxl

2.3.2

熊猫

0.19.2

pathlib2

魅惑

容易受骗的人

0.4.1

pexpect

4.0.1

pickleshare

0.7.4

枕头

3.3.1

皮普

19.1.1

厚度

3.9

prompt-toolkit

1.0.7

psycopg2

2.6.2

ptyprocess

0.5.1

py4j

0.10.3

pyarrow

0.8.0

pyasn1

0.1.9

pycparser

2.14

Pygments

2.1.3

PyGObject

3.20.0

pyOpenSSL

16.0.0

pyparsing

2.2.0

pypng

0.0.18

Python

2.7.12

python-dateutil

2.5.3

python-geohash

0.8.5

pytz

2016.6.1

请求

2.11.1

s3transfer

0.1.9

scikit-learn

0.18.1

scipy

0.18.1

冲刷

0.32

seaborn

是0.7.1

setuptools

41.0.1

simplejson

3.8.2

simples3

1．0

singledispatch

3.4.0.3

六个

1.10.0

statsmodels

0.6.1

龙卷风

5.1.1

traitlets

4.3.0

urllib3

1.19.1

virtualenv

16.1.0

wcwidth

0.1.7

轮

0.33.4

wsgiref

0.1.2

已安装的R库

图书馆

版本

图书馆

版本

图书馆

版本

abind

1.4 - 5

askpass

1．1

为了

0.2.1

补丁

1.1.3

基地

3.6.0

base64enc

0.1 - 3

黑洞

1.69.0-1

位

-14 - 1.1

bit64

0.9 7

bitops

1.0 6

团

1.1.1

引导

-20 - 1.3

酿造

1.0 6

callr

3.2.0

车

3.0 - 2

carData

3.0 - 2

脱字符号

-82 - 6.0

cellranger

1.1.0

时间

-53 - 2.3

类

-15 - 7.3

cli

1.1.0

clipr

0.5.0

clisymbols

1.2.0

集群

2.0.8

codetools

-16 - 0.2

色彩

1.4 - 1

commonmark

1.7

编译器

3.6.0

配置

0.3

蜡笔

1.3.4

旋度

3．3

data.table

1.12.0

数据集

3.6.0

DBI

1.0.0

dbplyr

1.3.0

desc

1.2.0

devtools

2.0.1

消化

0.6.18

doMC

1.3.5

dplyr

0.8.0.1

省略

0.1.0

fansi

0.4.0

forcats

0.4.0

foreach

1.4.4

外国

-71 - 0.8

打造

0.2.0

fs

1.2.7

“绿带运动”

2.1.5

泛型

发布

ggplot2

3.1.0

“大酒店”

1.0.1

git2r

0.25.2

glmnet

-16 - 2.0

胶水

1.3.1

高尔

0.2.0

图形

3.6.0

grDevices

3.6.0

网格

3.6.0

gridExtra

2．3

gsubfn

0.7

gtable

0.3.0

水

3.22.1.1

还

魅惑

hms

0.4.2

htmltools

0.3.6

htmlwidgets

1.3

httr

1.4.0

hwriter

1.3.2

hwriterPlus

1.0 - 3

ini

0.3.1

不小

0.9 8

迭代器

1.0.10

jsonlite

1．6

KernSmooth

-15 - 2.23

标签

0.3

晶格

-38 - 0.20

熔岩

1.6.5

lazyeval

0.2.2

的小

0.3.7

lme4

-21 - 1.1

lubridate

1.7.4

magrittr

1．5

mapproj

1.2.6

地图

3.3.0

maptools

0.9 - 5

质量

7.3 - -51.1

矩阵

-17 - 1.2

MatrixModels

0.4 - 1

memoise

1.1.0

方法

3.6.0

mgcv

-28 - 1.8

mime

0.6

minqa

1.2.4

ModelMetrics

1.2.2

孟塞尔

0.5.0

mvtnorm

-10 - 1.0

nlme

-140 - 3.1

nloptr

1.2.1 "

nnet

-12 - 7.3

numDeriv

2016.8 - 1

openssl

1.3

openxlsx

4.1.0

平行

3.6.0

pbkrtest

0.4 7

支柱

1.3.1

pkgbuild

1.0.3

pkgconfig

2.0.2

pkgKitten

0.1.4

pkgload

1.0.2中

plogr

0.2.0

plyr

1.8.4

赞美

1.0.0

prettyunits

1.0.2中

pROC

1.14.0

processx

3.3.0

prodlim

2018.04.18

进步

1.2.0

原型

1.0.0

ps

1.3.0

purrr

0.3.2

quantreg

5.38

R.methodsS3

1.7.1上

R.oo

1.22.0

R.utils

2.8.0

r2d3

0.2.3

R6

测试盒框

randomForest

-14 - 4.6

rappdirs

0.3.1

rcmdcheck

1.3.2

RColorBrewer

1.1 - 2

Rcpp

1.0.1

RcppEigen

0.3.3.5.0

RcppRoll

0.3.0

RCurl

1.95 - -4.12

readr

1.3.1

readxl

1.3.1

食谱

0.1.5

复赛

1.0.1

遥控器

2.0.2

reshape2

3

里约热内卢

0.5.16

rlang

0.3.3

RODBC

-15 - 1.3

roxygen2

但是

rpart

-15 - 4.1

rprojroot

1.3 - 2

Rserve

1.8 6

RSQLite

2.1.1

rstudioapi

0．10

尺度

1.0.0

sessioninfo

1.1.1

sp

1.3 - 1

sparklyr

1.0.0

SparkR

2.4.4

SparseM

1.77

空间

-11 - 7.3

样条函数

3.6.0

sqldf

-11 - 0.4

SQUAREM

2017.10 - 1

statmod

1.4.30

统计数据

3.6.0

stats4

3.6.0

stringi

3

stringr

1.4.0

生存

2.43 - 3

sys

3．1

tcltk

3.6.0

TeachingDemos

2.10

testthat

2.0.1

宠物猫

2.1.1

tidyr

0.8.3

tidyselect

0.2.5

timeDate

3043.102

工具

3.6.0

usethis

1.4.0

use utf8

1.1.4

跑龙套

3.6.0

viridisLite

0.3.0

晶须

0.3 - 2

withr

2.1.2

xml2

1.2.0

xopen

1.0.0

yaml

2.2.0

邮政编码

2.0.1

安装Java和Scala库(Scala 2.11集群版本)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.8.10

com.amazonaws

aws-java-sdk-autoscaling

1.11.313

com.amazonaws

aws-java-sdk-cloudformation

1.11.313

com.amazonaws

aws-java-sdk-cloudfront

1.11.313

com.amazonaws

aws-java-sdk-cloudhsm

1.11.313

com.amazonaws

aws-java-sdk-cloudsearch

1.11.313

com.amazonaws

aws-java-sdk-cloudtrail

1.11.313

com.amazonaws

aws-java-sdk-cloudwatch

1.11.313

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.313

com.amazonaws

aws-java-sdk-codedeploy

1.11.313

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.313

com.amazonaws

aws-java-sdk-cognitosync

1.11.313

com.amazonaws

aws-java-sdk-config

1.11.313

com.amazonaws

aws-java-sdk-core

1.11.313

com.amazonaws

aws-java-sdk-datapipeline

1.11.313

com.amazonaws

aws-java-sdk-directconnect

1.11.313

com.amazonaws

aws-java-sdk-directory

1.11.313

com.amazonaws

aws-java-sdk-dynamodb

1.11.313

com.amazonaws

aws-java-sdk-ec2

1.11.313

com.amazonaws

aws-java-sdk-ecs

1.11.313

com.amazonaws

aws-java-sdk-efs

1.11.313

com.amazonaws

aws-java-sdk-elasticache

1.11.313

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.313

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.313

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.313

com.amazonaws

aws-java-sdk-emr

1.11.313

com.amazonaws

aws-java-sdk-glacier

1.11.313

com.amazonaws

aws-java-sdk-glue

1.11.313

com.amazonaws

aws-java-sdk-iam

1.11.313

com.amazonaws

aws-java-sdk-importexport

1.11.313

com.amazonaws

aws-java-sdk-kinesis

1.11.313

com.amazonaws

aws-java-sdk-kms

1.11.313

com.amazonaws

aws-java-sdk-lambda

1.11.313

com.amazonaws

aws-java-sdk-logs

1.11.313

com.amazonaws

aws-java-sdk-machinelearning

1.11.313

com.amazonaws

aws-java-sdk-opsworks

1.11.313

com.amazonaws

aws-java-sdk-rds

1.11.313

com.amazonaws

aws-java-sdk-redshift

1.11.313

com.amazonaws

aws-java-sdk-route53

1.11.313

com.amazonaws

aws-java-sdk-s3

1.11.313

com.amazonaws

aws-java-sdk-ses

1.11.313

com.amazonaws

aws-java-sdk-simpledb

1.11.313

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.313

com.amazonaws

aws-java-sdk-sns

1.11.313

com.amazonaws

aws-java-sdk-sqs

1.11.313

com.amazonaws

aws-java-sdk-ssm

1.11.313

com.amazonaws

aws-java-sdk-storagegateway

1.11.313

com.amazonaws

aws-java-sdk-sts

1.11.313

com.amazonaws

aws-java-sdk-support

1.11.313

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.313

com.amazonaws

jmespath-java

1.11.313

com.carrotsearch

hppc

0.7.2

com.chuusai

shapeless_2.11

2.3.2

com.clearspring.analytics

流

2.7.0

com.databricks

Rserve

1.8 - 3

com.databricks

dbml-local_2.11

0.5.0-db8-spark2.4

com.databricks

dbml-local_2.11-tests

0.5.0-db8-spark2.4

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0.4.15-9

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.0.0

com.fasterxml.jackson.core

jackson-annotations

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

jackson-databind

2.6.7.1

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.6.7

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

jackson-module-paranamer

2.6.7

com.fasterxml.jackson.module

jackson-module-scala_2.11

2.6.7.1

com.github.fommil

jniloader

1．1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1．1

com.github.fommil.netlib

native_ref-java-natives

1．1

com.github.fommil.netlib

native_system-java

1．1

com.github.fommil.netlib

native_system-java-natives

1．1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1．1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1．1

com.github.luben

zstd-jni

1.3.2-2

com.github.rwl

jtransforms

测试盒框

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2．2．4

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

JavaEWAH

0.3.2

com.h2database

h2

1.3.174

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.azure

azure存储

5.2.0

com.microsoft.sqlserver

mssql-jdbc

6.2.2.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.11

0.3

com.twitter

chill-java

0.9.3

com.twitter

chill_2.11

0.9.3

com.twitter

parquet-hadoop-bundle

1.6.0

com.twitter

util-app_2.11

6.23.0

com.twitter

util-core_2.11

6.23.0

com.twitter

util-jvm_2.11

6.23.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging-api_2.11

2.1.2

com.typesafe.scala-logging

scala-logging-slf4j_2.11

2.1.2

com.univocity

univocity-parsers

2.7.3

com.vlkan

flatbuffers

1.2.0-3f79e055

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.9.3

commons-cli

commons-cli

1．2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1．6

commons-dbcp

commons-dbcp

1．4

commons-digester

commons-digester

1．8

commons-httpclient

commons-httpclient

3．1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3．1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io.airlift

aircompressor

0．10

io.dropwizard.metrics

metrics-core

3.1.5

io.dropwizard.metrics

metrics-ganglia

3.1.5

io.dropwizard.metrics

metrics-graphite

3.1.5

io.dropwizard.metrics

metrics-healthchecks

3.1.5

io.dropwizard.metrics

metrics-jetty9

3.1.5

io.dropwizard.metrics

metrics-json

3.1.5

io.dropwizard.metrics

metrics-jvm

3.1.5

io.dropwizard.metrics

metrics-log4j

3.1.5

io.dropwizard.metrics

metrics-servlets

3.1.5

io.netty

网状的

3.9.9.Final

io.netty

netty-all

4.1.17.Final

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1．2

javax.el

javax.el-api

2．2．4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1．1

javax.validation

验证api

1.1.0.Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.14.6

joda-time

joda-time

2.9.3

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

maven-trees

hive-exec-with-glue

蜂巢- 12679 patch_deploy

maven-trees

hive-exec-with-glue

hive-exec_shaded

net.hydromatic

eigenbase-properties

1.1.5

net.razorvine

地幔岩

4.13

net.sf.jpam

jpam

1．1

net.sf.opencsv

opencsv

2．3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-ingest-sdk

0.9.5

net.snowflake

snowflake-jdbc

3.6.15

net.snowflake

spark-snowflake_2.11

2.4.10-spark_2.4

net.sourceforge.f2j

arpack_combined_all

0．1

org.acplt

oncrpc

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4．7

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.10.0

org.apache.arrow

arrow-memory

0.10.0

org.apache.arrow

arrow-vector

0.10.0

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.calcite

calcite-avatica

1.2.0-incubating

org.apache.calcite

calcite-core

1.2.0-incubating

org.apache.calcite

calcite-linq4j

1.2.0-incubating

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3．5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

2.7.3

org.apache.hadoop

hadoop-auth

2.7.3

org.apache.hadoop

hadoop-client

2.7.3

org.apache.hadoop

hadoop-common

2.7.3

org.apache.hadoop

hadoop-hdfs

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-app

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

hadoop-yarn-api

2.7.3

org.apache.hadoop

hadoop-yarn-client

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

hadoop-yarn-server-common

2.7.3

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.4

org.apache.httpcomponents

httpcore

4.4.8

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core-nohive

1.5.2

org.apache.orc

orc-mapreduce-nohive

1.5.2

org.apache.orc

orc-shims

1.5.2

org.apache.parquet

parquet-column

1.10.1.1-databricks3

org.apache.parquet

parquet-common

1.10.1.1-databricks3

org.apache.parquet

parquet-encoding

1.10.1.1-databricks3

org.apache.parquet

parquet-format

测试盒框

org.apache.parquet

parquet-hadoop

1.10.1.1-databricks3

org.apache.parquet

parquet-jackson

1.10.1.1-databricks3

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm6-shaded

4.8

org.apache.zookeeper

动物园管理员

3.4.6

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.10

org.codehaus.janino

janino

3.0.10

org.datanucleus

datanucleus-api-jdo

3.2.6

org.datanucleus

datanucleus-core

3.2.10

org.datanucleus

datanucleus-rdbms

3.2.9

org.eclipse.jetty

jetty-client

9.3.20.v20170531

org.eclipse.jetty

jetty-continuation

9.3.20.v20170531

org.eclipse.jetty

jetty-http

9.3.20.v20170531

org.eclipse.jetty

jetty-io

9.3.20.v20170531

org.eclipse.jetty

jetty-jndi

9.3.20.v20170531

org.eclipse.jetty

jetty-plus

9.3.20.v20170531

org.eclipse.jetty

jetty-proxy

9.3.20.v20170531

org.eclipse.jetty

jetty-security

9.3.20.v20170531

org.eclipse.jetty

jetty服务器

9.3.20.v20170531

org.eclipse.jetty

jetty servlet

9.3.20.v20170531

org.eclipse.jetty

jetty-servlets

9.3.20.v20170531

org.eclipse.jetty

jetty-util

9.3.20.v20170531

org.eclipse.jetty

jetty-webapp

9.3.20.v20170531

org.eclipse.jetty

jetty-xml

9.3.20.v20170531

org.fusesource.leveldbjni

leveldbjni-all

1．8

org.glassfish.hk2

hk2-api

2.4.0-b34

org.glassfish.hk2

hk2-locator

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-resource-locator

1.0.1

org.glassfish.hk2.external

aopalliance-repackaged

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.repackaged

jersey-guava

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

jersey客户端

2.22.2

org.glassfish.jersey.core

jersey-common

2.22.2

org.glassfish.jersey.core

jersey-server

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hibernate

hibernate验证框架

5.1.1.Final

org.iq80.snappy

时髦的

0.2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

jboss-logging

3.1.3.GA

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.11

3.5.3

org.json4s

json4s-core_2.11

3.5.3

org.json4s

json4s-jackson_2.11

3.5.3

org.json4s

json4s-scalap_2.11

3.5.3

org.lz4

lz4-java

1.4.0

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.mockito

mockito-all

1.9.5

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.7.45

org.roaringbitmap

垫片

0.7.45

org.rocksdb

rocksdbjni

5.2.1

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.11

2.11.12

org.scala-lang

scala-library_2.11

2.11.12

org.scala-lang

scala-reflect_2.11

2.11.12

org.scala-lang.modules

scala-parser-combinators_2.11

1.1.0

org.scala-lang.modules

scala-xml_2.11

1.0.5

org.scala-sbt

测试界面

1．0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalactic

scalactic_2.11

3.0.3

org.scalanlp

breeze-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatest

scalatest_2.11

3.0.3

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-to-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1.spark2

org.spark-project.hive

hive-cli

1.2.1.spark2

org.spark-project.hive

hive-jdbc

1.2.1.spark2

org.spark-project.hive

hive-metastore

1.2.1.spark2

org.spark-project.spark

未使用的

1.0.0

org.spire-math

spire-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.tukaani

xz

1．5

org.typelevel

machinist_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.3

org.yaml

snakeyaml

1.16

奥罗

奥罗

2.0.8

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52