Databricks运行时5.0(不支持)

Databricks于2018年11月发布了这张图片。

以下发行说明提供了有关Databricks Runtime 5.0的信息，由Apache Spark提供支持。

新功能

  • 三角洲湖

    • 子查询现在在在哪里条款的支持删除而且更新命令。

    • 新的可伸缩实现合并命令。

  • 结构化流

    • 基于流式源的Azure Blob存储文件通知。当对Azure Blob存储中的文件运行结构化流查询时，这可以显著降低列表成本。这个流源可以直接读取文件事件通知来查找新文件，而不是使用列表来查找要处理的新文件。看到Azure Blob存储文件源与Azure队列存储(遗留)．

改进

  • 三角洲湖

    • 优化性能和稳定性。

      • 的优化命令会尽快提交批次，而不是在最后提交。

      • 减少默认线程数优化并行运行。对于大型表，这是一个严格的性能提升。

      • 加快优化写入分区表时避免不必要的数据排序。

      • 加快优化ZORDER通过通过增加它。这意味着该命令现在可以避免重写已经按相同列按z顺序排列的数据文件。看到数据跳跃与z顺序索引三角洲湖．

    • 查询Delta表时的快照隔离。任何对Delta表有多个引用的查询(例如，自连接)都会从同一个表快照中读取，即使该表有并发更新。

    • 通过在驱动程序上缓存元数据，提高了从小(< 2000个文件)Delta表读取时的查询延迟。

  • 改进MLlib逻辑回归性能。

  • 改进MLlib树算法性能。

  • 升级了几个Java和Scala库。看到安装Java和Scala库(Scala 2.11集群版本)．

  • 升级了一些已安装的Python库:

    • Pip: 10.0.1到18.0

    • Setuptools: 39.2.0到40.4.1

    • 龙卷风:5.0.2至5.1.1

  • 升级了几个已安装的R库。看到已安装的R库．

错误修复

  • 三角洲湖

    • 在SQL conf中设置的配置现在正确应用于Delta Lake操作，第一次加载在不同的笔记本电脑。

    • 修复了删除命令，该命令会错误地删除条件计算为空的行。

    • 处理初始批处理时间超过两天的流(即流启动时在表中的数据)不再失败FileNotFoundException当试图从检查点恢复时。

    • 避免导致的竞态条件NoClassDefError加载新表时。

    • 解决真空其中操作可能会失败，AssertionError声明:“这里不应该有任何用于删除的绝对路径。”

    • 固定显示创建表格命令不包括hive生成的存储属性。

  • 执行者抛出许多NoClassDefFoundError内部Spark类的错误现在会自动重新启动以修复该问题。

已知的问题

  • 属性中指定的列名称replaceWhere选择覆盖即使启用了不区分大小写(这是默认值)，Delta Lake中的模式也是区分大小写的。

  • 的雪花连接器for Databricks Runtime 5.0是预览版。

  • 如果取消连接到Databricks Runtime 5.0集群的笔记本中正在运行的流计算单元，则不能在笔记本中运行任何后续命令，除非清除笔记本状态或重新启动集群。有关解决方法，请参见知识库．

Apache火花

Databricks Runtime 5.0包含Apache Spark 2.4.0。

Core和Spark SQL

请注意

这篇文章引用了这个术语奴隶Databricks没有使用这个术语。当这个术语从软件中删除后，我们将从本文中删除它。

主要功能

  • 屏障执行模式:(火花- 24374)在调度器中支持Barrier执行模式，以便更好地与深度学习框架集成。

  • Scala 2.12支持:(火花- 14220)增加实验性的Scala 2.12支持。现在您可以使用Scala 2.12构建Spark，并使用Scala 2.12编写Spark应用程序。

  • 高阶函数:(火花- 23899)添加许多新的内置函数，包括高阶函数，使处理复杂数据类型更加容易。看到Apache Spark内置函数．

  • 内置Avro数据源:(火花- 24768)内联Spark-Avro包，支持逻辑类型，更好的性能和可用性。

API

性能和稳定性

连接器

PySpark

其他显著变化

编程指南:Spark RDD编程指南而且Spark SQL DataFrames和Datasets指南．

结构化流

主要功能

  • (火花- 24565)使用foreachBatch (Python、Scala和Java)将每个微批的输出行暴露为数据帧

  • (火花- 24396)为foreach和ForeachWriter添加了Python API

  • (火花- 25005)支持“kafka.isolation。level”只读使用事务生成器编写的Kafka主题的提交记录。

其他显著变化

  • (火花- 24662)对追加或完成模式的流支持LIMIT操作符

  • (火花- 24763)从流聚合的值中删除冗余的关键数据

  • (火花- 24156)当输入流中没有数据时，使用有状态操作(mapGroupsWithState、流-流连接、流聚合、流dropduplates)更快地生成输出结果和/或状态清理。

  • (火花- 24730)支持在查询中有多个输入流时选择最小或最大水印

  • (火花- 25399)修正了从连续处理中重用执行线程用于微批处理流可能导致正确性问题的错误

  • (火花- 18057)Kafka客户端版本从0.10.0.1升级到2.0.0

编程指南:结构化流媒体节目指南．

MLlib

主要功能

其他显著变化

编程指南:机器学习图书馆(MLlib)指南．

SparkR

编程指南:SparkR (R on Spark)．

GraphX

编程指南:GraphX编程指南．

的用法

行为的改变

看到迁移向导所有行为的改变。

已知的问题

维护更新

看到Databricks Runtime 5.0维护更新．

系统环境

  • 操作系统: Ubuntu 16.04.5 LTS

  • Java: 1.8.0_162

  • Scala: 2.11.8

  • PythonPython 2集群为2.7.12,Python 3集群为3.5.2。

  • R: R版本3.4.4 (2018-03-15)

  • GPU集群:安装了以下NVIDIA GPU库:

    • 特斯拉司机375.66

    • CUDA 9.0

    • cuDNN 7.0

请注意

虽然在Apache Spark 2.4中支持Scala 2.12，但在Databricks Runtime 5.0中不支持。

已安装的Python库

图书馆

版本

图书馆

版本

图书馆

版本

ansi2html

1.1.1

argparse

1.2.1 "

backports-abc

0．5

宝途

2.42.0

boto3

1.4.1

botocore

1.4.70

brewer2mpl

1.4.1

certifi

2016.2.28

cffi

1.7.0

chardet

tripwire

彩色光

0.3.7

configobj

5.0.6

密码学

1．5

周期计

0.10.0

Cython

0.24.1

装饰

4.0.10

docutils

0.14

enum34

1.1.6

et-xmlfile

1.0.1

freetype-py

1.0.2中

funcsigs

1.0.2中

fusepy

2.0.4

期货

3.2.0

ggplot

0.6.8

html5lib

0.999

idna

2.1

ipaddress

1.0.16

ipython

2.2.0

ipython-genutils

0.1.0

jdcal

1．2

Jinja2

2.8

jmespath

0.9.0

llvmlite

0.13.0

lxml

3.6.4

MarkupSafe

0.23

matplotlib

1.5.3

mpld3

0.2

msgpack-python

0.4.7

ndg-httpsclient

0.3.3

numba

0.28.1

numpy

1.11.1

openpyxl

2.3.2

熊猫

0.19.2

pathlib2

魅惑

容易受骗的人

0.4.1

pexpect

4.0.1

pickleshare

0.7.4

枕头

3.3.1

皮普

18.0

厚度

3.9

prompt-toolkit

1.0.7

psycopg2

2.6.2

ptyprocess

0.5.1

py4j

0.10.3

pyarrow

0.8.0

pyasn1

0.1.9

pycparser

2.14

Pygments

2.1.3

PyGObject

3.20.0

pyOpenSSL

16.0.0

pyparsing

2.2.0

pypng

0.0.18

Python

2.7.12

python-dateutil

2.5.3

python-geohash

0.8.5

pytz

2016.6.1

请求

2.11.1

s3transfer

0.1.9

scikit-learn

0.18.1

scipy

0.18.1

冲刷

0.32

seaborn

是0.7.1

setuptools

40.4.1

simplejson

3.8.2

simples3

1．0

singledispatch

3.4.0.3

六个

1.10.0

statsmodels

0.6.1

龙卷风

5.1.1

traitlets

4.3.0

urllib3

1.19.1

virtualenv

15.0.1

wcwidth

0.1.7

轮

0.31.1

wsgiref

0.1.2

已安装的R库

图书馆

版本

图书馆

版本

图书馆

版本

abind

1.4 - 5

为了

0.2.0

补丁

1.1.2

基地

3.4.4

base64enc

0.1 - 3

黑洞

1.66.0-1

bindr

0.1.1

bindrcpp

0.2.2

位

-14 - 1.1

bit64

0.9 7

bitops

1.0 6

团

1.1.1

引导

-20 - 1.3

酿造

1.0 6

扫帚

0.5.0

callr

3.0.0

车

3.0 - 2

carData

3.0 - 1

脱字符号

-80 - 6.0

cellranger

1.1.0

时间

-52 - 2.3

类

-14 - 7.3

cli

1.0.0

集群

2.0.7-1

codetools

-15 - 0.2

色彩

1.3 - 2

commonmark

1．5

编译器

3.4.4

蜡笔

1.3.4

旋度

3.2

CVST

0.2 - 2

data.table

1.11.4

数据集

3.4.4

DBI

1.0.0

ddalpha

1.3.4

DEoptimR

1.0 8

desc

1.2.0

devtools

1.13.6

消化

0.6.16

dimRed

0.1.0

doMC

1.3.5

dplyr

0.7.6

DRR

0.0.3

fansi

0.3.0

forcats

0.3.0

foreach

1.4.4

外国

-70 - 0.8

“绿带运动”

2.1.3

几何

0.3 6

ggplot2

3.0.0

git2r

0.23.0

glmnet

-16 - 2.0

胶水

1.3.0

高尔

0.1.2

图形

3.4.4

grDevices

3.4.4

网格

3.4.4

gsubfn

0.7

gtable

0.2.0

水

3.20.0.2

还

1.1.2

hms

0.4.2

httr

1.3.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

不小

0.9 7

迭代器

1.0.10

jsonlite

1．5

kernlab

-27 - 0.9

KernSmooth

-15 - 2.23

标签

0.3

晶格

-35 - 0.20

熔岩

1.6.3

lazyeval

0.2.1

的小

0.3.4

lme4

1.1 19次

lubridate

1.7.4

魔法

1.5 8

magrittr

1．5

mapproj

1.2.6

地图

3.3.0

maptools

0.9 - 3

质量

-50 - 7.3

矩阵

-14 - 1.2

MatrixModels

0.4 - 1

memoise

1.1.0

方法

3.4.4

mgcv

-24 - 1.8

mime

0．5

minqa

1.2.4

ModelMetrics

1.2.0

孟塞尔

0.5.0

mvtnorm

1.0 8

nlme

-137 - 3.1

nloptr

1.0.4

nnet

-12 - 7.3

numDeriv

2016.8 - 1

openssl

1.0.2中

openxlsx

4.1.0

平行

3.4.4

pbkrtest

0.4 7

支柱

1.3.0

pkgbuild

1.0.0

pkgconfig

2.0.2

pkgKitten

0.1.4

pkgload

1.0.0

plogr

0.2.0

请

2.7 0

plyr

1.8.4

赞美

1.0.0

prettyunits

1.0.2中

pROC

1.12.1

processx

3.2.0

prodlim

2018.04.18

原型

1.0.0

ps

1.1.0

purrr

0.2.5

quantreg

5.36

R.methodsS3

1.7.1上

R.oo

1.22.0

R.utils

2.7.0

R6

2.2.2

randomForest

-14 - 4.6

RColorBrewer

1.1 - 2

Rcpp

0.12.18

RcppEigen

0.3.3.4.0

RcppRoll

0.3.0

RCurl

1.95 - -4.11

readr

1.1.1

readxl

1.1.0

食谱

0.1.3

复赛

1.0.1

reshape2

3

里约热内卢

0.5.10

rlang

0.2.2

robustbase

0.93 - 2

RODBC

-15 - 1.3

roxygen2

6.1.0

rpart

-13 - 4.1

rprojroot

1.3 - 2

Rserve

1.7 - 3

RSQLite

2.1.1

rstudioapi

0.7

尺度

1.0.0

sfsmisc

1.1 - 2

sp

1.3 - 1

SparkR

测试盒框

SparseM

1.77

空间

-11 - 7.3

样条函数

3.4.4

sqldf

-11 - 0.4

SQUAREM

2017.10 - 1

statmod

1.4.30

统计数据

3.4.4

stats4

3.4.4

stringi

1.2.4

stringr

1.3.1

生存

2.42 6

tcltk

3.4.4

TeachingDemos

2.10

testthat

2.0.0

宠物猫

1.4.2

tidyr

0.8.1

tidyselect

0.2.4

timeDate

3043.102

工具

3.4.4

use utf8

1.1.4

跑龙套

3.4.4

viridisLite

0.3.0

晶须

0.3 - 2

withr

2.1.2

xml2

1.2.0

邮政编码

1.0.0

安装Java和Scala库(Scala 2.11集群版本)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.8.10

com.amazonaws

aws-java-sdk-autoscaling

1.11.313

com.amazonaws

aws-java-sdk-cloudformation

1.11.313

com.amazonaws

aws-java-sdk-cloudfront

1.11.313

com.amazonaws

aws-java-sdk-cloudhsm

1.11.313

com.amazonaws

aws-java-sdk-cloudsearch

1.11.313

com.amazonaws

aws-java-sdk-cloudtrail

1.11.313

com.amazonaws

aws-java-sdk-cloudwatch

1.11.313

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.313

com.amazonaws

aws-java-sdk-codedeploy

1.11.313

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.313

com.amazonaws

aws-java-sdk-cognitosync

1.11.313

com.amazonaws

aws-java-sdk-config

1.11.313

com.amazonaws

aws-java-sdk-core

1.11.313

com.amazonaws

aws-java-sdk-datapipeline

1.11.313

com.amazonaws

aws-java-sdk-directconnect

1.11.313

com.amazonaws

aws-java-sdk-directory

1.11.313

com.amazonaws

aws-java-sdk-dynamodb

1.11.313

com.amazonaws

aws-java-sdk-ec2

1.11.313

com.amazonaws

aws-java-sdk-ecs

1.11.313

com.amazonaws

aws-java-sdk-efs

1.11.313

com.amazonaws

aws-java-sdk-elasticache

1.11.313

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.313

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.313

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.313

com.amazonaws

aws-java-sdk-emr

1.11.313

com.amazonaws

aws-java-sdk-glacier

1.11.313

com.amazonaws

aws-java-sdk-iam

1.11.313

com.amazonaws

aws-java-sdk-importexport

1.11.313

com.amazonaws

aws-java-sdk-kinesis

1.11.313

com.amazonaws

aws-java-sdk-kms

1.11.313

com.amazonaws

aws-java-sdk-lambda

1.11.313

com.amazonaws

aws-java-sdk-logs

1.11.313

com.amazonaws

aws-java-sdk-machinelearning

1.11.313

com.amazonaws

aws-java-sdk-opsworks

1.11.313

com.amazonaws

aws-java-sdk-rds

1.11.313

com.amazonaws

aws-java-sdk-redshift

1.11.313

com.amazonaws

aws-java-sdk-route53

1.11.313

com.amazonaws

aws-java-sdk-s3

1.11.313

com.amazonaws

aws-java-sdk-ses

1.11.313

com.amazonaws

aws-java-sdk-simpledb

1.11.313

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.313

com.amazonaws

aws-java-sdk-sns

1.11.313

com.amazonaws

aws-java-sdk-sqs

1.11.313

com.amazonaws

aws-java-sdk-ssm

1.11.313

com.amazonaws

aws-java-sdk-storagegateway

1.11.313

com.amazonaws

aws-java-sdk-sts

1.11.313

com.amazonaws

aws-java-sdk-support

1.11.313

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.313

com.amazonaws

jmespath-java

1.11.313

com.carrotsearch

hppc

0.7.2

com.chuusai

shapeless_2.11

2.3.2

com.clearspring.analytics

流

2.7.0

com.databricks

Rserve

1.8 - 3

com.databricks

dbml-local_2.11

0.5.0-db7-spark2.4

com.databricks

dbml-local_2.11-tests

0.5.0-db7-spark2.4

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0.4.15-9

com.esotericsoftware

kryo-shaded

4.0.2

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.0.0

com.fasterxml.jackson.core

jackson-annotations

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

jackson-databind

2.6.7.1

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.6.7

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

jackson-module-paranamer

2.6.7

com.fasterxml.jackson.module

jackson-module-scala_2.11

2.6.7.1

com.github.fommil

jniloader

1．1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1．1

com.github.fommil.netlib

native_ref-java-natives

1．1

com.github.fommil.netlib

native_system-java

1．1

com.github.fommil.netlib

native_system-java-natives

1．1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1．1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1．1

com.github.luben

zstd-jni

1.3.2-2

com.github.rwl

jtransforms

测试盒框

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2.2.4

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

JavaEWAH

0.3.2

com.h2database

h2

1.3.174

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.mchange

c3p0

0.9.5.1

com.mchange

mchange-commons-java

0.2.10

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.sqlserver

mssql-jdbc

6.2.2.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.11

0.3

com.twitter

chill-java

0.9.3

com.twitter

chill_2.11

0.9.3

com.twitter

parquet-hadoop-bundle

1.6.0

com.twitter

util-app_2.11

6.23.0

com.twitter

util-core_2.11

6.23.0

com.twitter

util-jvm_2.11

6.23.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging-api_2.11

2.1.2

com.typesafe.scala-logging

scala-logging-slf4j_2.11

2.1.2

com.univocity

univocity-parsers

2.7.3

com.vlkan

flatbuffers

1.2.0-3f79e055

com.zaxxer

HikariCP

3.1.0

commons-beanutils

commons-beanutils

1.7.0

commons-beanutils

commons-beanutils-core

1.8.0

commons-cli

commons-cli

1．2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1．6

commons-dbcp

commons-dbcp

1．4

commons-digester

commons-digester

1．8

commons-httpclient

commons-httpclient

3．1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

3．1

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io.airlift

aircompressor

0．10

io.dropwizard.metrics

metrics-core

3.1.5

io.dropwizard.metrics

metrics-ganglia

3.1.5

io.dropwizard.metrics

metrics-graphite

3.1.5

io.dropwizard.metrics

metrics-healthchecks

3.1.5

io.dropwizard.metrics

metrics-jetty9

3.1.5

io.dropwizard.metrics

metrics-json

3.1.5

io.dropwizard.metrics

metrics-jvm

3.1.5

io.dropwizard.metrics

metrics-log4j

3.1.5

io.dropwizard.metrics

metrics-servlets

3.1.5

io.netty

网状的

3.9.9.Final

io.netty

netty-all

4.1.17.Final

io.prometheus

simpleclient

0.0.16

io.prometheus

simpleclient_common

0.0.16

io.prometheus

simpleclient_dropwizard

0.0.16

io.prometheus

simpleclient_servlet

0.0.16

io.prometheus.jmx

收集器

0.7

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1．2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1．1

javax.validation

验证api

1.1.0.Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.11

joda-time

joda-time

2.9.3

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.hydromatic

eigenbase-properties

1.1.5

net.razorvine

地幔岩

4.13

net.sf.jpam

jpam

1．1

net.sf.opencsv

opencsv

2．3

net.sf.supercsv

super-csv

2.2.0

net.snowflake

snowflake-jdbc

3.6.3

net.snowflake

spark-snowflake_2.11

2.4.1

net.sourceforge.f2j

arpack_combined_all

0．1

org.acplt

oncrpc

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4．7

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.10.0

org.apache.arrow

arrow-memory

0.10.0

org.apache.arrow

arrow-vector

0.10.0

org.apache.avro

avro

1.8.2

org.apache.avro

avro-ipc

1.8.2

org.apache.avro

avro-mapred-hadoop2

1.8.2

org.apache.calcite

calcite-avatica

1.2.0-incubating

org.apache.calcite

calcite-core

1.2.0-incubating

org.apache.calcite

calcite-linq4j

1.2.0-incubating

org.apache.commons

commons-compress

1.8.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3．5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

2.7.3

org.apache.hadoop

hadoop-auth

2.7.3

org.apache.hadoop

hadoop-client

2.7.3

org.apache.hadoop

hadoop-common

2.7.3

org.apache.hadoop

hadoop-hdfs

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-app

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

hadoop-yarn-api

2.7.3

org.apache.hadoop

hadoop-yarn-client

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

hadoop-yarn-server-common

2.7.3

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.4

org.apache.httpcomponents

httpcore

4.4.8

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core-nohive

1.5.2

org.apache.orc

orc-mapreduce-nohive

1.5.2

org.apache.orc

orc-shims

1.5.2

org.apache.parquet

parquet-column

1.10.1-databricks2

org.apache.parquet

parquet-common

1.10.1-databricks2

org.apache.parquet

parquet-encoding

1.10.1-databricks2

org.apache.parquet

parquet-format

测试盒框

org.apache.parquet

parquet-hadoop

1.10.1-databricks2

org.apache.parquet

parquet-jackson

1.10.1-databricks2

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm6-shaded

4.8

org.apache.zookeeper

动物园管理员

3.4.6

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.9

org.codehaus.janino

janino

3.0.9

org.datanucleus

datanucleus-api-jdo

3.2.6

org.datanucleus

datanucleus-core

3.2.10

org.datanucleus

datanucleus-rdbms

3.2.9

org.eclipse.jetty

jetty-client

9.3.20.v20170531

org.eclipse.jetty

jetty-continuation

9.3.20.v20170531

org.eclipse.jetty

jetty-http

9.3.20.v20170531

org.eclipse.jetty

jetty-io

9.3.20.v20170531

org.eclipse.jetty

jetty-jndi

9.3.20.v20170531

org.eclipse.jetty

jetty-plus

9.3.20.v20170531

org.eclipse.jetty

jetty-proxy

9.3.20.v20170531

org.eclipse.jetty

jetty-security

9.3.20.v20170531

org.eclipse.jetty

jetty服务器

9.3.20.v20170531

org.eclipse.jetty

jetty servlet

9.3.20.v20170531

org.eclipse.jetty

jetty-servlets

9.3.20.v20170531

org.eclipse.jetty

jetty-util

9.3.20.v20170531

org.eclipse.jetty

jetty-webapp

9.3.20.v20170531

org.eclipse.jetty

jetty-xml

9.3.20.v20170531

org.fusesource.leveldbjni

leveldbjni-all

1．8

org.glassfish.hk2

hk2-api

2.4.0-b34

org.glassfish.hk2

hk2-locator

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-resource-locator

1.0.1

org.glassfish.hk2.external

aopalliance-repackaged

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.repackaged

jersey-guava

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

jersey客户端

2.22.2

org.glassfish.jersey.core

jersey-common

2.22.2

org.glassfish.jersey.core

jersey-server

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hibernate

hibernate验证框架

5.1.1.Final

org.iq80.snappy

时髦的

0.2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

jboss-logging

3.1.3.GA

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.11

3.5.3

org.json4s

json4s-core_2.11

3.5.3

org.json4s

json4s-jackson_2.11

3.5.3

org.json4s

json4s-scalap_2.11

3.5.3

org.lz4

lz4-java

1.4.0

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.mockito

mockito-all

1.9.5

org.objenesis

objenesis

2.5.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.5.11

org.rocksdb

rocksdbjni

5.2.1

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.11

2.11.8

org.scala-lang

scala-library_2.11

2.11.8

org.scala-lang

scala-reflect_2.11

2.11.8

org.scala-lang.modules

scala-parser-combinators_2.11

1.0.2中

org.scala-lang.modules

scala-xml_2.11

1.0.5

org.scala-sbt

测试界面

1．0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalactic

scalactic_2.11

3.0.3

org.scalanlp

breeze-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatest

scalatest_2.11

3.0.3

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-to-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1.spark2

org.spark-project.hive

hive-cli

1.2.1.spark2

org.spark-project.hive

hive-exec

1.2.1.spark2

org.spark-project.hive

hive-jdbc

1.2.1.spark2

org.spark-project.hive

hive-metastore

1.2.1.spark2

org.spark-project.spark

未使用的

1.0.0

org.spire-math

spire-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.tukaani

xz

1．5

org.typelevel

machinist_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.7.1

org.yaml

snakeyaml

1.16

奥罗

奥罗

2.0.8

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52