砖运行时的4.1(不支持)

砖在2018年5月发布了这张照片。

重要的

2019年1月17日,这个版本被弃用。关于砖运行时弃用策略的更多信息和时间表,看看砖运行时支持生命周期。

以下版本注释提供信息数据砖4.1运行时,由Apache火花。

三角洲湖

砖运行时的4.1版本增加了三角洲湖的主要质量改进和功能。砖高度建议所有三角洲湖客户升级到新的运行时。这个版本仍在私人预览,但它代表候选人发布预期即将到来的一般可用性(GA)释放。

突发的变化

  • 砖4.1运行时包含更改事务协议启用新特性,如验证。表创建砖4.1运行时自动使用新版本和旧版本不能写入的数据砖运行时。你必须升级现有表,以便利用这些改进。升级现有的表,首先升级工作,正在写。然后运行:

    com。砖。δ。δ。upgradeTableProtocol(“< path-to-table >”或“<表名>”)

    看到表协议版本为更多的信息。

  • 写现在根据表的当前模式进行验证,而不是像以前一样,自动添加列失踪的目标表。启用前的行为,设置mergeSchema选项真正的。看到三角洲湖模式验证。

  • 如果您正在运行砖三角洲的早期版本中,您必须使用升级所有工作之前砖4.1运行时。如果你看到这些错误,升级到砖4.1运行时:

    java。朗。NumberFormatException:为输入字符串:“00000000000000 .... crc”scala。MatchError

  • 表可以不再有列只有情况不同。

  • 现在必须以Delta-specific表配置三角洲。

新功能

  • 模式管理——砖三角洲现在验证附加和覆盖写入一个现有表,以确保模式匹配的模式。

    • 砖三角洲继续支持自动模式迁移。

    • 砖三角洲现在支持以下DDL显式地修改模式:

      • 改变表添加列添加新列一个表

      • 改变表改变列改变列排序

      • 改变表(设置|设置)TBLPROPERTIES

    有关详细信息,请参见三角洲湖模式验证。

  • 增强的DDL和表支持

    • 表DDL和全力支持saveAsTable ()。save ()和saveAsTable ()现在有相同的语义。

    • 所有的表名和DDL和DML命令支持delta. < path-to-table >的。

    • 显示分区

    • 显示列

    • DESC表

    • 表的详细信息,你可以看到当前的读者和作家通过运行版本的表描述细节。看到表协议版本。

    • 表的细节——出处信息现在可以为每一个写一个表。侧边栏的数据还显示了详细的表信息和历史数据砖三角洲表。看到回顾三角洲湖表细节描述细节。

    • 流表——流DataFrames可以使用创建spark.readStream.format(“δ”).table(“<表名称>”)。

    • 扩展表——砖三角洲现在支持基本的数据治理。你可以删除和修改一个表通过设置表属性delta.appendOnly = true。

    • 合并成源,增加了更全面的支持源查询的规范合并。例如,您可以指定限制,订单通过和内联表在源。

    • 完全支持表acl。

性能改进

  • 减少数据收集开销,改进了数据收集的效率和数据现在只收集到一个可配置的列数,默认设置为32。砖三角洲的写性能已经改进了2 x由于减少数据收集开销。配置的列数,设置表属性delta.dataSkippingNumIndexedCols = <列数>。

  • 支持限制压低,统计数据是用来限制文件扫描的数量的查询限制和谓词分区列。这是适用于查询笔记本由于隐式限制= 1000实际上所有笔记本的命令。

  • 过滤流源叠加——现在流查询使用分区当开始一个新的流跳过无关的数据。

  • 改进的并行性优化- - - - - -优化现在运行作为一个火花任务和将使用所有可用并行集群(100年以前仅限于一次压缩文件)。

  • 数据在DML——跳过更新,删除,合并现在使用统计定位文件时,需要重写。

  • 在S3中随机S3前缀,以避免热点大型表的元数据,您现在可以设置表属性delta.randomizeFilePrefixes = true。

  • 减少检查点保留——检查点现在保留了两天(30)历史仍保留为事务日志存储成本降低。

API行为

  • 的行为insertInto(<表名称>)在砖三角洲是一样的其他数据源。

    • 如果没有指定模式或模式是ErrorIfExists,忽略,或附加,附加DataFrame砖三角洲表中的数据。

    • 如果模式是覆盖、删除现有表中的所有数据并将数据从DataFrame插入砖三角洲的表。

  • 如果缓存,目标表合并必须手动不缓存。

可用性改进

  • 工作负载迁移验证——常见的错误当工作负载迁移到砖三角洲现在抛出异常而不是失败:

    • 使用格式(“铺”)读或写一个表。

    • 直接读或写一个分区(即,/道路/ /δ= 1 /部分)。

    • 吸尘的子目录表。

    • 插入覆盖目录使用铺在桌子上。

  • 不分大小写配置——选择DataFrame阅读器/写入器和表属性现在不分大小写(包括读,写路径)。

  • 列名称,表列名可以包括点。

已知的问题

警告

写入单个表必须来自一个集群。实验支持从多个集群在同一个工作区写道。接触砖的支持,如果你有兴趣在这个特性。

  • multi-insert的插入语句在不同单位的工作,而不是相同的事务。

错误修复

  • 无限循环,当开始一个新的流表已经固定在快速更新。

的用法

结构化流不处理不是一个附加的输入,将抛出一个异常如果发生任何修改在桌子上被用作源。以前你可以使用覆盖这一行为ignoreFileDeletion国旗,但它现在已经弃用。而不是使用ignoreDeletes或ignoreChanges。看到δ表来源。

其他的变化和改进

  • 查询监督启用所有通用集群使用UI创建的。

  • 改善驾驶员一侧DBIO缓存的性能

  • 改进的性能为拼花通过一个新的本地铺解码器解码

  • 公共子表达式消除改善性能

  • 改进的数据跳过大表加入小表的性能(事实-维度表连接)

  • 显示()现在呈现列包含图像数据类型HTML一样富有。

  • 新的利用s3select数据源S3选择

  • 改进日志、负载、登记和部署MLflow模型

    • 升级dbml-local 0.4.1最新版本

    • 固定的错误与模型导出阈值参数指定

    • 增加了对出口的支持OneVsRestModel,GBTClassificationModel

  • 升级安装Python库:

    • 皮普:从9.0.1 10.0.0b2

    • setuptools:从38.5.1 39.0.1

    • 龙卷风:4.5.3 5.0.1

    • 轮:0.30.0 0.31.0

  • 升级安装几个R库。看到安装R库。

  • 升级AWS Java SDK 1.11.253 1.11.313。

  • 升级Azure数据存储从2.0.11 SDK 2.2.8湖。

  • 升级CUDA从8.0和9.0 CUDNN GPU集群从7.0升至6.0。

  • GPU集群,现在出现在集群GPU指标度量Ganglia UI。

Apache火花

砖4.1运行时包含Apache tripwire火花。这个版本包括所有包括在修复和改进砖运行时的4.0(不支持)以及以下额外的bug修复和改进了火花:

维护更新

看到砖4.1运行时的维护更新。

系统环境

  • 操作系统:Ubuntu 16.04.4 LTS

  • Java:1.8.0_162

  • Scala:2.11.8

  • Python:2.7.12 Python 2集群和3.5.2 Python 3集群。

  • R:R版本3.4.4 (2018-03-15)

  • GPU集群:以下安装NVIDIA GPU库:

    • 375.66特斯拉的司机

    • CUDA 9.0

    • cuDNN 7.0

安装Python库

图书馆

版本

图书馆

版本

图书馆

版本

ansi2html

1.1.1

argparse

1.2.1 "

backports-abc

0.5

宝途

2.42.0

boto3

1.4.1

botocore

1.4.70

brewer2mpl

1.4.1

certifi

2016.2.28

cffi

1.7.0

chardet

tripwire

彩色光

0.3.7

configobj

5.0.6

密码学

1.5

周期计

0.10.0

Cython

0.24.1

装饰

4.0.10

docutils

0.14

enum34

1.1.6

et-xmlfile

1.0.1

freetype-py

1.0.2中

funcsigs

1.0.2中

fusepy

2.0.4

期货

3.2.0

ggplot

0.6.8

html5lib

0.999

idna

2.1

ipaddress

1.0.16

ipython

2.2.0

ipython-genutils

0.1.0

jdcal

1.2

Jinja2

2.8

jmespath

0.9.0

llvmlite

0.13.0

lxml

3.6.4

MarkupSafe

0.23

matplotlib

1.5.3

mpld3

0.2

msgpack-python

0.4.7

ndg-httpsclient

0.3.3

numba

0.28.1

numpy

1.11.1

openpyxl

2.3.2

熊猫

0.19.2

pathlib2

魅惑

容易受骗的人

0.4.1

pexpect

4.0.1

pickleshare

0.7.4

枕头

3.3.1

皮普

10.0.0b2

厚度

3.9

prompt-toolkit

1.0.7

psycopg2

2.6.2

ptyprocess

0.5.1

py4j

0.10.3

pyarrow

0.8.0

pyasn1

0.1.9

pycparser

2.14

Pygments

2.1.3

PyGObject

3.20.0

pyOpenSSL

16.0.0

pyparsing

2.2.0

pypng

0.0.18

Python

2.7.12

python-dateutil

2.5.3

python-geohash

0.8.5

pytz

2016.6.1

请求

2.11.1

s3transfer

0.1.9

scikit-learn

0.18.1

scipy

0.18.1

冲刷

0.32

seaborn

是0.7.1

setuptools

39.0.1

simplejson

3.8.2

simples3

1.0

singledispatch

3.4.0.3

六个

1.10.0

statsmodels

0.6.1

龙卷风

5.0.1

traitlets

4.3.0

urllib3

1.19.1

virtualenv

15.0.1

wcwidth

0.1.7

轮

0.31.0

wsgiref

0.1.2

安装R库

图书馆

版本

图书馆

版本

图书馆

版本

abind

1.4 - 5

为了

0.2.0

补丁

1.1.2

基地

3.4.4

黑洞

1.66.0-1

bindr

0.1.1

bindrcpp

0.2.2

位

-12 - 1.1

bit64

0.9 7

bitops

1.0 6

团

1.1.1

引导

-20 - 1.3

酿造

1.0 6

扫帚

0.4.4

车

3.0 0

carData

3.0 - 1

脱字符号

-79 - 6.0

cellranger

1.1.0

时间

-52 - 2.3

类

-14 - 7.3

cli

1.0.0

集群

2.0.7

codetools

-15 - 0.2

色彩

1.3 - 2

commonmark

1.4

编译器

3.4.4

蜡笔

1.3.4

旋度

3.2

CVST

0.2 - 1

data.table

1.10.4-3

数据集

3.4.4

DBI

0.8

ddalpha

1.3.1.1

DEoptimR

1.0 8

desc

1.1.1

devtools

1.13.5

二色视者

2.0 0

消化

0.6.15

dimRed

0.1.0

doMC

1.3.5

dplyr

0.7.4

DRR

0.0.3

forcats

0.3.0

foreach

1.4.4

外国

-69 - 0.8

“绿带运动”

2.1.3

ggplot2

2.2.1

git2r

0.21.0

glmnet

-16 - 2.0

胶水

1.2.0

高尔

0.1.2

图形

3.4.4

grDevices

3.4.4

网格

3.4.4

gsubfn

0.7

gtable

0.2.0

水

3.16.0.2

还

1.1.1

hms

0.4.2

httr

1.3.1

hwriter

1.3.2

hwriterPlus

1.0 - 3

不小

0.9 6

迭代器

1.0.9

jsonlite

1.5

kernlab

-25 - 0.9

KernSmooth

-15 - 2.23

标签

0.3

晶格

-35 - 0.20

熔岩

1.6.1

lazyeval

0.2.1

的小

0.3.3

lme4

-17 - 1.1

lubridate

1.7.3

magrittr

1.5

mapproj

1.2.6

地图

3.3.0

maptools

0.9 - 2

质量

-49 - 7.3

矩阵

-13 - 1.2

MatrixModels

0.4 - 1

memoise

1.1.0

方法

3.4.4

mgcv

-23 - 1.8

mime

0.5

minqa

1.2.4

mnormt

1.5 - 5

ModelMetrics

1.1.0

孟塞尔

0.4.3

mvtnorm

1.0 7

nlme

-137 - 3.1

nloptr

1.0.4

nnet

-12 - 7.3

numDeriv

2016.8 - 1

openssl

1.0.1

openxlsx

4.0.17

平行

3.4.4

pbkrtest

0.4 7

支柱

1.2.1 "

pkgconfig

2.0.1

pkgKitten

0.1.4

plogr

0.2.0

plyr

1.8.4

赞美

1.0.0

prettyunits

1.0.2中

pROC

1.11.0

prodlim

1.6.1

原型

1.0.0

心理

1.8.3.3

purrr

0.2.4

quantreg

5.35

R.methodsS3

1.7.1上

R.oo

1.21.0

R.utils

2.6.0

R6

2.2.2

randomForest

-14 - 4.6

RColorBrewer

1.1 - 2

Rcpp

0.12.16

RcppEigen

0.3.3.4.0

RcppRoll

0.2.2

RCurl

1.95 - -4.10

readr

1.1.1

readxl

1.0.0

食谱

0.1.2

复赛

1.0.1

reshape2

3

力拓

0.5.10

rlang

0.2.0

robustbase

0.92 8

RODBC

-15 - 1.3

roxygen2

6.0.1中

rpart

-13 - 4.1

rprojroot

1.3 - 2

Rserve

1.7 - 3

RSQLite

魅惑

rstudioapi

0.7

尺度

0.5.0

sfsmisc

1.1 - 2

sp

1.2 7

SparkR

tripwire

SparseM

1.77

空间

-11 - 7.3

样条函数

3.4.4

sqldf

-11 - 0.4

SQUAREM

2017.10 - 1

statmod

1.4.30

统计数据

3.4.4

stats4

3.4.4

stringi

1.1.7

stringr

1.3.0

生存

2.41 - 3

tcltk

3.4.4

TeachingDemos

2.10

testthat

2.0.0

宠物猫

1.4.2

tidyr

0.8.0

tidyselect

0.2.4

timeDate

3043.102

工具

3.4.4

use utf8

1.1.3

跑龙套

3.4.4

viridisLite

0.3.0

晶须

0.3 - 2

withr

2.1.2

xml2

1.2.0

安装了Java和Scala库(Scala 2.11集群版)

组ID

工件ID

版本

antlr

antlr

2.7.7

com.amazonaws

amazon-kinesis-client

1.7.3

com.amazonaws

aws-java-sdk-autoscaling

1.11.313

com.amazonaws

aws-java-sdk-cloudformation

1.11.313

com.amazonaws

aws-java-sdk-cloudfront

1.11.313

com.amazonaws

aws-java-sdk-cloudhsm

1.11.313

com.amazonaws

aws-java-sdk-cloudsearch

1.11.313

com.amazonaws

aws-java-sdk-cloudtrail

1.11.313

com.amazonaws

aws-java-sdk-cloudwatch

1.11.313

com.amazonaws

aws-java-sdk-cloudwatchmetrics

1.11.313

com.amazonaws

aws-java-sdk-codedeploy

1.11.313

com.amazonaws

aws-java-sdk-cognitoidentity

1.11.313

com.amazonaws

aws-java-sdk-cognitosync

1.11.313

com.amazonaws

aws-java-sdk-config

1.11.313

com.amazonaws

aws-java-sdk-core

1.11.313

com.amazonaws

aws-java-sdk-datapipeline

1.11.313

com.amazonaws

aws-java-sdk-directconnect

1.11.313

com.amazonaws

aws-java-sdk-directory

1.11.313

com.amazonaws

aws-java-sdk-dynamodb

1.11.313

com.amazonaws

aws-java-sdk-ec2

1.11.313

com.amazonaws

aws-java-sdk-ecs

1.11.313

com.amazonaws

aws-java-sdk-efs

1.11.313

com.amazonaws

aws-java-sdk-elasticache

1.11.313

com.amazonaws

aws-java-sdk-elasticbeanstalk

1.11.313

com.amazonaws

aws-java-sdk-elasticloadbalancing

1.11.313

com.amazonaws

aws-java-sdk-elastictranscoder

1.11.313

com.amazonaws

aws-java-sdk-emr

1.11.313

com.amazonaws

aws-java-sdk-glacier

1.11.313

com.amazonaws

aws-java-sdk-iam

1.11.313

com.amazonaws

aws-java-sdk-importexport

1.11.313

com.amazonaws

aws-java-sdk-kinesis

1.11.313

com.amazonaws

aws-java-sdk-kms

1.11.313

com.amazonaws

aws-java-sdk-lambda

1.11.313

com.amazonaws

aws-java-sdk-logs

1.11.313

com.amazonaws

aws-java-sdk-machinelearning

1.11.313

com.amazonaws

aws-java-sdk-opsworks

1.11.313

com.amazonaws

aws-java-sdk-rds

1.11.313

com.amazonaws

aws-java-sdk-redshift

1.11.313

com.amazonaws

aws-java-sdk-route53

1.11.313

com.amazonaws

aws-java-sdk-s3

1.11.313

com.amazonaws

aws-java-sdk-ses

1.11.313

com.amazonaws

aws-java-sdk-simpledb

1.11.313

com.amazonaws

aws-java-sdk-simpleworkflow

1.11.313

com.amazonaws

aws-java-sdk-sns

1.11.313

com.amazonaws

aws-java-sdk-sqs

1.11.313

com.amazonaws

aws-java-sdk-ssm

1.11.313

com.amazonaws

aws-java-sdk-storagegateway

1.11.313

com.amazonaws

aws-java-sdk-sts

1.11.313

com.amazonaws

aws-java-sdk-support

1.11.313

com.amazonaws

aws-java-sdk-swf-libraries

1.11.22

com.amazonaws

aws-java-sdk-workspaces

1.11.313

com.amazonaws

jmespath-java

1.11.313

com.carrotsearch

hppc

0.7.2

com.chuusai

shapeless_2.11

2.3.2

com.clearspring.analytics

流

2.7.0

com.databricks

Rserve

1.8 - 3

com.databricks

dbml-local_2.11

0.4.1-db1-spark2.3

com.databricks

dbml-local_2.11-tests

0.4.1-db1-spark2.3

com.databricks

jets3t

0.7.1-0

com.databricks.scalapb

compilerplugin_2.11

0.4.15-9

com.databricks.scalapb

scalapb-runtime_2.11

0.4.15-9

com.esotericsoftware

kryo-shaded

3.0.3

com.esotericsoftware

minlog

1.3.0

com.fasterxml

同学

1.0.0

com.fasterxml.jackson.core

jackson-annotations

2.6.7

com.fasterxml.jackson.core

jackson-core

2.6.7

com.fasterxml.jackson.core

jackson-databind

2.6.7.1

com.fasterxml.jackson.dataformat

jackson-dataformat-cbor

2.6.7

com.fasterxml.jackson.datatype

jackson-datatype-joda

2.6.7

com.fasterxml.jackson.module

jackson-module-paranamer

2.6.7

com.fasterxml.jackson.module

jackson-module-scala_2.11

2.6.7.1

com.github.fommil

jniloader

1.1

com.github.fommil.netlib

核心

1.1.2

com.github.fommil.netlib

native_ref-java

1.1

com.github.fommil.netlib

native_ref-java-natives

1.1

com.github.fommil.netlib

native_system-java

1.1

com.github.fommil.netlib

native_system-java-natives

1.1

com.github.fommil.netlib

netlib-native_ref-linux-x86_64-natives

1.1

com.github.fommil.netlib

netlib-native_system-linux-x86_64-natives

1.1

com.github.luben

zstd-jni

1.3.2-2

com.github.rwl

jtransforms

测试盒框

com.google.code.findbugs

jsr305

2.0.1

com.google.code.gson

gson

2.2.4

com.google.guava

番石榴

15.0

com.google.protobuf

protobuf-java

2.6.1

com.googlecode.javaewah

JavaEWAH

0.3.2

com.h2database

h2

1.3.174

com.jamesmurty.utils

java-xmlbuilder

1.1

com.jcraft

jsch

0.1.50

com.jolbox

bonecp

0.8.0.RELEASE

com.mchange

c3p0

0.9.5.1

com.mchange

mchange-commons-java

0.2.10

com.microsoft.azure

azure-data-lake-store-sdk

2.2.8

com.microsoft.sqlserver

mssql-jdbc

6.2.2.jre8

com.ning

compress-lzf

1.0.3

com.sun.mail

javax.mail

1.5.2

com.thoughtworks.paranamer

paranamer

2.8

com.trueaccord.lenses

lenses_2.11

0.3

com.twitter

chill-java

0.8.4

com.twitter

chill_2.11

0.8.4

com.twitter

parquet-hadoop-bundle

1.6.0

com.twitter

util-app_2.11

6.23.0

com.twitter

util-core_2.11

6.23.0

com.twitter

util-jvm_2.11

6.23.0

com.typesafe

配置

1.2.1 "

com.typesafe.scala-logging

scala-logging-api_2.11

2.1.2

com.typesafe.scala-logging

scala-logging-slf4j_2.11

2.1.2

com.univocity

univocity-parsers

2.5.9

com.vlkan

flatbuffers

1.2.0-3f79e055

com.zaxxer

HikariCP

2.4.1

commons-beanutils

commons-beanutils

1.7.0

commons-beanutils

commons-beanutils-core

1.8.0

commons-cli

commons-cli

1.2

commons-codec

commons-codec

1.10

commons-collections

commons-collections

3.2.2

commons configuration

commons configuration

1.6

commons-dbcp

commons-dbcp

1.4

commons-digester

commons-digester

1.8

commons-httpclient

commons-httpclient

3.1

commons-io

commons-io

2.4

commons lang

commons lang

2.6

通用日志

通用日志

1.1.3

commons net

commons net

2.2

commons-pool

commons-pool

1.5.4

info.ganglia.gmetric4j

gmetric4j

1.0.7

io.airlift

aircompressor

0.8

io.dropwizard.metrics

metrics-core

3.1.5

io.dropwizard.metrics

metrics-ganglia

3.1.5

io.dropwizard.metrics

metrics-graphite

3.1.5

io.dropwizard.metrics

metrics-healthchecks

3.1.5

io.dropwizard.metrics

metrics-jetty9

3.1.5

io.dropwizard.metrics

metrics-json

3.1.5

io.dropwizard.metrics

metrics-jvm

3.1.5

io.dropwizard.metrics

metrics-log4j

3.1.5

io.dropwizard.metrics

metrics-servlets

3.1.5

io.netty

网状的

3.9.9.Final

io.netty

netty-all

4.1.17.Final

io.prometheus

simpleclient

0.0.16

io.prometheus

simpleclient_common

0.0.16

io.prometheus

simpleclient_dropwizard

0.0.16

io.prometheus

simpleclient_servlet

0.0.16

io.prometheus.jmx

收集器

0.7

javax.activation

激活

1.1.1

javax.annotation

javax.annotation-api

1.2

javax.el

javax.el-api

2.2.4

javax.jdo

jdo api

3.0.1

javax.servlet

javax.servlet-api

3.1.0

javax.servlet.jsp

jsp-api

2.1

javax.transaction

jta

1.1

javax.validation

验证api

1.1.0.Final

javax.ws.rs

javax.ws.rs-api

2.0.1

javax.xml.bind

jaxb-api

2.2.2

javax.xml.stream

stax-api

1.0 - 2

javolution

javolution

5.5.1

jline

jline

2.11

joda-time

joda-time

2.9.3

log4j

apache-log4j-extras

1.2.17

log4j

log4j

1.2.17

net.hydromatic

eigenbase-properties

1.1.5

net.iharder

base64

2.3.8

net.java.dev.jets3t

jets3t

0.9.4

net.razorvine

地幔岩

4.13

net.sf.jpam

jpam

1.1

net.sf.opencsv

opencsv

2.3

net.sf.supercsv

super-csv

2.2.0

net.sourceforge.f2j

arpack_combined_all

0.1

org.acplt

oncrpc

1.0.7

org.antlr

ST4

4.0.4

org.antlr

antlr-runtime

3.4

org.antlr

antlr4-runtime

4.7

org.antlr

stringtemplate

3.2.1之上

org.apache.ant

蚂蚁

1.9.2

org.apache.ant

ant-jsch

1.9.2

org.apache.ant

ant-launcher

1.9.2

org.apache.arrow

arrow-format

0.8.0

org.apache.arrow

arrow-memory

0.8.0

org.apache.arrow

arrow-vector

0.8.0

org.apache.avro

avro

1.7.7

org.apache.avro

avro-ipc

1.7.7

org.apache.avro

avro-ipc-tests

1.7.7

org.apache.avro

avro-mapred-hadoop2

1.7.7

org.apache.calcite

calcite-avatica

1.2.0-incubating

org.apache.calcite

calcite-core

1.2.0-incubating

org.apache.calcite

calcite-linq4j

1.2.0-incubating

org.apache.commons

commons-compress

1.4.1

org.apache.commons

commons-crypto

1.0.0

org.apache.commons

commons-lang3

3.5

org.apache.commons

commons-math3

3.4.1

org.apache.curator

curator-client

2.7.1

org.apache.curator

curator-framework

2.7.1

org.apache.curator

curator-recipes

2.7.1

org.apache.derby

德比

10.12.1.1

org.apache.directory.api

api-asn1-api

1.0.0-M20

org.apache.directory.api

api-util

1.0.0-M20

org.apache.directory.server

apacheds-i18n

2.0.0-M15

org.apache.directory.server

apacheds-kerberos-codec

2.0.0-M15

org.apache.hadoop

hadoop-annotations

2.7.3

org.apache.hadoop

hadoop-auth

2.7.3

org.apache.hadoop

hadoop-client

2.7.3

org.apache.hadoop

hadoop-common

2.7.3

org.apache.hadoop

hadoop-hdfs

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-app

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-common

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-core

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-jobclient

2.7.3

org.apache.hadoop

hadoop-mapreduce-client-shuffle

2.7.3

org.apache.hadoop

hadoop-yarn-api

2.7.3

org.apache.hadoop

hadoop-yarn-client

2.7.3

org.apache.hadoop

hadoop-yarn-common

2.7.3

org.apache.hadoop

hadoop-yarn-server-common

2.7.3

org.apache.htrace

htrace-core

3.1.0-incubating

org.apache.httpcomponents

httpclient

4.5.4

org.apache.httpcomponents

httpcore

4.4.8

org.apache.ivy

艾薇

测试盒框

org.apache.orc

orc-core-nohive

1.4.1

org.apache.orc

orc-mapreduce-nohive

1.4.1

org.apache.parquet

parquet-column

1.8.2-databricks1

org.apache.parquet

parquet-common

1.8.2-databricks1

org.apache.parquet

parquet-encoding

1.8.2-databricks1

org.apache.parquet

parquet-format

2.3.1

org.apache.parquet

parquet-hadoop

1.8.2-databricks1

org.apache.parquet

parquet-jackson

1.8.2-databricks1

org.apache.thrift

libfb303

0.9.3

org.apache.thrift

libthrift

0.9.3

org.apache.xbean

xbean-asm5-shaded

4.4

org.apache.zookeeper

动物园管理员

3.4.6

org.bouncycastle

bcprov-jdk15on

1.58

org.codehaus.jackson

jackson-core-asl

1.9.13

org.codehaus.jackson

jackson-jaxrs

1.9.13

org.codehaus.jackson

jackson-mapper-asl

1.9.13

org.codehaus.jackson

jackson-xc

1.9.13

org.codehaus.janino

commons-compiler

3.0.8

org.codehaus.janino

janino

3.0.8

org.datanucleus

datanucleus-api-jdo

3.2.6

org.datanucleus

datanucleus-core

3.2.10

org.datanucleus

datanucleus-rdbms

3.2.9

org.eclipse.jetty

jetty-client

9.3.20.v20170531

org.eclipse.jetty

jetty-continuation

9.3.20.v20170531

org.eclipse.jetty

jetty-http

9.3.20.v20170531

org.eclipse.jetty

jetty-io

9.3.20.v20170531

org.eclipse.jetty

jetty-jndi

9.3.20.v20170531

org.eclipse.jetty

jetty-plus

9.3.20.v20170531

org.eclipse.jetty

jetty-proxy

9.3.20.v20170531

org.eclipse.jetty

jetty-security

9.3.20.v20170531

org.eclipse.jetty

jetty服务器

9.3.20.v20170531

org.eclipse.jetty

jetty servlet

9.3.20.v20170531

org.eclipse.jetty

jetty-servlets

9.3.20.v20170531

org.eclipse.jetty

jetty-util

9.3.20.v20170531

org.eclipse.jetty

jetty-webapp

9.3.20.v20170531

org.eclipse.jetty

jetty-xml

9.3.20.v20170531

org.fusesource.leveldbjni

leveldbjni-all

1.8

org.glassfish.hk2

hk2-api

2.4.0-b34

org.glassfish.hk2

hk2-locator

2.4.0-b34

org.glassfish.hk2

hk2-utils

2.4.0-b34

org.glassfish.hk2

osgi-resource-locator

1.0.1

org.glassfish.hk2.external

aopalliance-repackaged

2.4.0-b34

org.glassfish.hk2.external

javax.inject

2.4.0-b34

org.glassfish.jersey.bundles.repackaged

jersey-guava

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet

2.22.2

org.glassfish.jersey.containers

jersey-container-servlet-core

2.22.2

org.glassfish.jersey.core

jersey客户端

2.22.2

org.glassfish.jersey.core

jersey-common

2.22.2

org.glassfish.jersey.core

jersey-server

2.22.2

org.glassfish.jersey.media

jersey-media-jaxb

2.22.2

org.hibernate

hibernate验证框架

5.1.1.Final

org.iq80.snappy

时髦的

0.2

org.javassist

javassist

3.18.1-GA

org.jboss.logging

jboss-logging

3.1.3.GA

org.jdbi

jdbi

2.63.1

org.joda

joda-convert

1.7

org.jodd

jodd-core

3.5.2

org.json4s

json4s-ast_2.11

3.2.11

org.json4s

json4s-core_2.11

3.2.11

org.json4s

json4s-jackson_2.11

3.2.11

org.lz4

lz4-java

1.4.0

org.mariadb.jdbc

mariadb-java-client

2.1.2

org.mockito

mockito-all

1.9.5

org.objenesis

objenesis

2.1

org.postgresql

postgresql

42.1.4

org.roaringbitmap

RoaringBitmap

0.5.11

org.rocksdb

rocksdbjni

5.2.1

org.rosuda.REngine

REngine

魅惑

org.scala-lang

scala-compiler_2.11

2.11.8

org.scala-lang

scala-library_2.11

2.11.8

org.scala-lang

scala-reflect_2.11

2.11.8

org.scala-lang

scalap_2.11

2.11.8

org.scala-lang.modules

scala-parser-combinators_2.11

1.0.2中

org.scala-lang.modules

scala-xml_2.11

1.0.5

org.scala-sbt

测试界面

1.0

org.scalacheck

scalacheck_2.11

1.12.5

org.scalanlp

breeze-macros_2.11

0.13.2

org.scalanlp

breeze_2.11

0.13.2

org.scalatest

scalatest_2.11

2.2.6款

org.slf4j

jcl-over-slf4j

1.7.16

org.slf4j

jul-to-slf4j

1.7.16

org.slf4j

slf4j-api

1.7.16

org.slf4j

slf4j-log4j12

1.7.16

org.spark-project.hive

hive-beeline

1.2.1.spark2

org.spark-project.hive

hive-cli

1.2.1.spark2

org.spark-project.hive

hive-exec

1.2.1.spark2

org.spark-project.hive

hive-jdbc

1.2.1.spark2

org.spark-project.hive

hive-metastore

1.2.1.spark2

org.spark-project.spark

未使用的

1.0.0

org.spire-math

spire-macros_2.11

0.13.0

org.spire-math

spire_2.11

0.13.0

org.springframework

spring核心

4.1.4.RELEASE

org.springframework

spring测试

4.1.4.RELEASE

org.tukaani

xz

1.0

org.typelevel

machinist_2.11

0.6.1

org.typelevel

macro-compat_2.11

1.1.1

org.xerial

sqlite-jdbc

3.8.11.2

org.xerial.snappy

snappy-java

1.1.2.6

org.yaml

snakeyaml

1.16

奥罗

奥罗

2.0.8

software.amazon.ion

ion-java

1.0.2中

stax

stax-api

1.0.1

xmlenc

xmlenc

0.52