配置数据砖ODBC、JDBC驱动程序

本文描述了如何配置砖ODBC、JDBC驱动程序的连接您的工具或客户砖。为工具或客户特定的连接说明,请参阅砖的集成

需求

在你开始之前,你需要确保你有适当的权限来连接数据砖,准备您的凭据和检索连接细节。

权限需求

有两个权限你可能需要连接到一个砖集群:

  • 可以连接到允许连接到集群运行。

  • 可以重新启动允许自动触发集群开始时其状态终止连接。

访问一个砖的SQL仓库,你需要可以使用许可。砖SQL的仓库将自动启动如果是停了下来。

身份验证需求

砖ODBC、JDBC驱动程序支持身份验证通过使用个人访问令牌或你的砖的用户名和密码。

检索连接细节

本节解释如何检索连接细节,你需要连接到砖。

获得一个集群的连接细节

许多外部数据源建立连接,开发工具,或技术合作伙伴,您必须为您的集群提供连接细节。bob体育外网下载检索连接细节,请执行以下操作:

  1. 登录到你的砖工作区和去数据科学与工程或砖机器学习persona-based环境。

    改变形象,请点击下面的图标砖的标志砖的标志,然后选择数据科学与工程机器学习

  2. 点击计算图标计算在侧边栏。

  3. 选择连接到一个集群。

  4. 导航到高级选项

  5. 点击JDBC / ODBC选项卡。

  6. 复制连接细节。

得到一个SQL的连接细节,仓库

许多外部数据源建立连接,开发工具,或技术合作伙伴,您必须提供您的SQL的连接细节,仓库。bob体育外网下载检索连接细节,请执行以下操作:

  1. 登录到你的砖工作区和去SQL persona-based环境。

    改变形象,请点击下面的图标砖的标志砖的标志,然后选择SQL

  2. 点击端点图标SQL仓库在侧边栏。

  3. 选择连接到一个仓库。

  4. 导航到连接细节选项卡。

  5. 复制连接细节。

    或者,您可以单击图标的显示技术合作伙伴或开发工具和遵循屏幕上的步骤来连接使用SQL仓库的连接细节。bob体育外网下载

ODBC驱动程序

本节介绍的步骤配置ODBC驱动程序连接到砖。

ODBC驱动程序下载

审查的许可协议砖ODBC驱动程序在安装软件之前。

一些工具和客户要求您安装砖砖ODBC驱动程序建立连接,而其他嵌入司机,不需要单独安装。例如,使用场景桌面,需要安装的ODBC驱动程序,而最近的权力BI桌面版本包括司机预装和不采取行动是必要的。

砖ODBC驱动程序适用于您的操作系统下载页面下载驱动程序。

下载相应的驱动程序的安装程序之后你的平台,使用以下指令安装和配置司机:bob体育客户端下载

安装和配置Windows ODBC驱动程序

在Windows中,您可以设置一个数据源名称(DSN)配置ODBC客户端应用程序连接到砖。建立DSN配置,使用WindowsODBC数据源管理员

  1. 下载最新的驱动程序版本的Windows,如果您还没有这么做的话)。看到ODBC驱动程序下载

  2. 双击dowloadedmsi文件安装驱动程序。安装目录是C: \程序文件\辛巴火花ODBC司机

  3. 从开始菜单搜索ODBC数据源启动ODBC数据源管理员

  4. 导航到司机选项卡来验证安装驱动程序(辛巴火花ODBC驱动程序)。

  5. 用户DSN系统DSN选项卡并单击添加按钮。

  6. 选择辛巴火花ODBC驱动程序从列表中已安装的驱动程序。

  7. 选择一个数据源名称并设置强制性的ODBC配置和连接参数。另请参阅ODBC驱动程序功能驱动程序配置。

  8. 点击好吧创建DSN。

安装和配置macOS的ODBC驱动程序

在macOS,您可以设置一个数据源名称(DSN)配置ODBC客户端应用程序连接到砖。建立DSN macOS,使用ODBC管理器

  1. 安装的ODBC管理器通过使用自制程序,或ODBC管理器下载然后双击下载的dmg文件来安装它。

  2. 下载最新的驱动程序为macOS版本,如果您还没有这么做的话)。看到ODBC驱动程序下载

  3. 双击dowloadeddmg文件安装驱动程序。安装目录是/图书馆/辛巴/火花

  4. 启动ODBC管理器。

  5. 导航到司机选项卡来验证安装驱动程序(辛巴火花ODBC驱动程序)。

  6. 用户DSN系统DSN选项卡并单击添加按钮。

  7. 选择辛巴火花ODBC驱动程序从列表中已安装的驱动程序。

  8. 点击添加

  9. 选择一个数据源名称和创建键值对设置强制性的ODBC配置和连接参数。另请参阅ODBC驱动程序功能驱动程序配置。

  10. 点击好吧创建DSN。

安装和配置Linux的ODBC驱动程序

在Linux中,您可以设置一个数据源名称(DSN)配置ODBC客户端应用程序连接到砖。建立DSN在Linux上,可以使用unixODBC驱动程序管理器。

  1. 安装unixODBC

  2. 下载最新的驱动程序版本的Linux,如果您还没有这么做的话)。看到ODBC驱动程序下载

  3. 安装的ODBC驱动程序。

    • RPM包:

      sudo百胜——nogpgcheck localinstall simbaspark_ <版本> . rpm
    • DEB包:

      sudo dpkg - simbaspark_ <版本>。deb

    安装目录是/ opt /辛巴/火花

  4. 定位odbc.ini驱动程序配置文件对应系统数据来源:

    odbcinst - j
  5. 在文本编辑器中打开odbc.ini配置文件。

  6. 创建一个(ODBC数据来源)部分:

    (ODBC数据源)=砖ODBC连接器
  7. 创建另一个具有相同名称的部分作为你的DSN并指定配置参数以键-值对的形式。看到强制ODBC配置和连接参数有关如何设置配置参数的更多信息。另请参阅ODBC驱动程序功能驱动程序配置。

    (砖)司机=< path-to-driver ><键>=<值>

ODBC配置和连接参数

本节介绍了强制性的(除非另有说明)配置和连接ODBC驱动程序的参数。

配置

描述

司机

驱动程序安装路径

主机

砖服务器主机名

港口

443年

HTTPPath

砖计算资源的URL

SSL

1

ThriftTransport

2

模式(可选)

默认模式

目录(可选)

默认目录

验证参数

验证通过使用个人访问令牌,设置以下配置:

配置

描述

AuthMech

3

UID

令牌

松材线虫病

砖的个人工作区用户访问令牌

如果你想用你的砖凭证,然后UID和PWD设置为您的用户名和密码,分别。

定义在应用程序中使用的连接字符串,如下:

司机= < path-to-driver >;主机= <服务器主机>;港口= 443;HTTPPath = < http-path >; ThriftTransport = 2, SSL = 1; AuthMech = 3; UID =令牌;PWD = < personal-access-token >

设置主机和HTTPPath配置您检索到的值检索连接细节

DSN为非windows机器的例子

这里有一些例子显示如何设置DSN在不同的平台上根据你的身份验证方法。bob体育客户端下载

当你与个人访问令牌验证,完成以下步骤:

  1. 设置的内容odbc.ini:

    (砖)司机=< path-to-driver >主机=<服务器主机>港口=443年HTTPPath=< http-path >ThriftTransport=2SSL=1AuthMech=3UID=令牌松材线虫病=< personal-access-token >
  2. < personal-access-token >检索到的令牌身份验证需求

  3. 设置主机、端口和HTTPPath配置您检索到的值检索连接细节

  4. 使用ODBC应用程序通过设置中的DSN DSN连接字符串的房地产DSN =砖;

ODBC驱动程序功能

本节提供了可选的ODBC驱动程序配置。

设置初始模式在ODBC

ODBC驱动程序允许您指定模式通过设置模式= < schema_name >作为连接配置。这相当于运行使用< schema_name >

在ODBC ANSI sql - 92查询支持

ODBC驱动程序接受SQL查询ANSI SQL - 92年方言和砖SQL方言翻译的查询。然而,如果您的应用程序生成砖SQL应用程序直接或使用任何non-ANSI SQL - 92标准SQL语法具体砖,砖建议您设置UseNativeQuery = 1作为连接配置。设置,司机通过SQL查询逐字砖。

提取ODBC的大型查询结果

达到最佳性能时提取大型查询结果,使用最新版本的ODBC驱动程序包括以下优化。

箭头在ODBC序列化

ODBC驱动程序版本2.6.15以上中支持序列化格式,它使用一个优化的查询结果Apache箭头

云引进ODBC

上面的ODBC驱动程序版本2.6.17和云获取支持,通过云存储功能,获取查询结果是建立在你的砖部署。使用云获取查询结果中提取使用此功能,使用砖运行时的8.3或以上。

查询结果上传到内部DBFS存储位置20 MB的Arrow-serialized文件。当司机发送获取请求查询完成后,砖生成并返回presigned url上传的文件。然后ODBC驱动程序使用的url下载直接从DBFS结果。

云拿只用于查询结果大于1 MB。直接从砖较小的检索结果。

砖自动垃圾收集积累的文件,标记为删除后24小时。这些标记文件完全是额外的24小时后删除。

云获取只是用于E2工作区。同时,相应的Amazon S3 bucket不能启用了版本控制。如果你启用了版本控制,你仍然可以使云获取遵循指令高级配置

了解更BOB低频彩多关于云计算获取架构,明白了我们如何实现高带宽连接用BI工具吗

ODBC驱动程序指南

关于ODBC驱动程序的更多信息,请参阅安装和配置指南:辛巴Apache火花ODBC连接器安装配置指南。砖的位置ODBC驱动程序的安装和配置指南取决于你的平台:bob体育客户端下载

  • MacOS:/图书馆/辛巴/火花

  • Linux:/ opt /辛巴/火花

  • 窗口:C: \程序文件\辛巴火花ODBC司机

JDBC驱动程序

本节介绍的步骤配置JDBC驱动程序连接到数据砖。

安装砖JDBC驱动程序的Java项目

砖JDBC驱动程序是可用的Maven中央存储库。包括砖JDBC驱动程序在您的Java项目中,添加以下进入应用程序的pom.xml文件,如下所示。

请注意

以下版本值是可能发生变化。可用版本可供选择,请参阅Maven中央存储库

<依赖>< groupId >com.databricks<ʇgroupId >< artifactId >databricks-jdbc< / artifactId ><版本>2.6.25-1> < /版本< / >的依赖

下载数据砖JDBC驱动程序

  1. 砖JDBC驱动程序下载页面下载驱动程序。

  2. 司机是打包为一个JAR,它不需要安装,可以添加到Java类路径中。

JDBC 2.6.25司机的名字是DatabricksJDBC42.jar,而遗留的司机的名字SparkJDBC42.jar。下载驱动程序之后,使用以下指令配置司机:

建筑砖的连接URL驱动程序

连接使用一个个人访问令牌,第一个得到服务器主机名Http路径检索连接细节

JDBC连接URL一般形式如下:

jdbc:砖:/ / <服务器主机名>:443;HttpPath = < Http路径>[;财产=价值[;财产=价值]]

地点:

  • jdbc:砖:/ /(需要)被称为subprotocol是恒定的。

  • 服务器主机名(必需)是连接到服务器的地址。

  • Http路径(需要)是砖计算资源的URL。

  • 财产(可选的)是一个或多个连接属性。看到JDBC驱动程序功能为更多的细节。

你应该避免通过JDBC URL设置凭证。相反,建议设置凭证的方式是通过通过属性参数DriverManager:

使用个人访问令牌验证,设置以下属性集合:

字符串url = " jdbc:砖:/ / <服务器主机名>:443;HttpPath = < Http路径>”;新java.util.Properties性质p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);

地点:

建筑遗产的连接URL火花司机

连接到砖使用火花的JDBC驱动程序,您需要建立一个连接URL,一般具有以下形式:

jdbc:火花:/ / <服务器主机名>:443;HttpPath = < Http路径>;运输方式= Http; SSL = 1(;财产=价值[;财产=价值]]

地点:

  • jdbc:火花:/ /(需要)被称为subprotocol是恒定的。

  • 服务器主机名(必需)是连接到服务器的地址。

  • Http路径(需要)是砖计算资源的URL。

  • 财产(可选的)是一个或多个连接属性。看到JDBC驱动程序功能为更多的细节。

司机也需要设置运输方式SSL属性。砖推荐这些属性的值http分别和1。

使用个人访问令牌验证,设置以下属性集合:

字符串url = " jdbc:火花:/ / <服务器主机名>;HttpPath = < Http路径>;运输方式= Http; SSL = 1”;新java.util.Properties性质p = ();p。put (" PWD ", " < personal-access-token > ");DriverManager。getConnection (url, p);

地点:

JDBC驱动程序功能

本节提供了可选的JDBC驱动程序的配置。同样的功能适用于两个砖和遗留的火花的司机。

ANSI sql - 92在JDBC查询支持

遗留火花JDBC驱动程序接受ANSI SQL - 92方言的SQL查询和查询转换成砖的SQL方言之前将它们发送到服务器。然而,如果您的应用程序生成砖SQL应用程序直接或使用任何non-ANSI SQL - 92标准SQL语法具体砖,砖建议您设置UseNativeQuery = 1作为连接配置。设置,司机通过SQL查询逐字砖。

默认目录和模式

指定默认的目录和模式,添加ConnCatalog = <目录名称>;ConnSchema = <模式名称>JDBC连接URL。

提取大在JDBC查询结果

达到最佳性能时提取大型查询结果,使用JDBC驱动程序的最新版本,它包含了以下优化。

在JDBC箭头序列化

JDBC驱动程序版本2.6.16以上时支持序列化格式,它使用一个优化的查询结果Apache箭头

云引进JDBC

JDBC驱动程序版本2.6.19以上支持云获取能力,获取查询结果通过云存储中设置你的砖部署。使用云获取查询结果中提取,使用砖运行时的8.3或以上。

查询结果上传到内部DBFS存储位置20 MB的Arrow-serialized文件。当司机发送获取请求查询完成后,砖生成并返回presigned url上传的文件。JDBC驱动程序然后使用url下载直接从DBFS结果。

云拿只用于查询结果大于1 MB。直接从砖较小的检索结果。

砖自动垃圾收集积累的文件标记为删除后24小时。这些标记文件完全是额外的24小时后删除。

云获取只是E2工作区中可用。同时,相应的Amazon S3 bucket不能启用了版本控制。如果你启用了版本控制,你仍然可以使云获取遵循指令高级配置

了解更BOB低频彩多关于云计算获取架构,明白了我们如何实现高带宽连接用BI工具吗

JDBC驱动程序指南

有关JDBC驱动程序的更多信息,请参阅安装和配置指南。找到砖JDBC驱动程序的安装和配置指南文档驱动程序包的目录中。

高级配置

(如果已启用S3 bucket版本控制在你的DBFS根垃圾收集旧版本的,然后砖不能上传查询结果。砖因此自动禁用云获取版本桶拯救你于过度的存储成本。你仍然可以手动启用云取回,但我们建议设置一个S3生命周期策略首先清洗旧版本上传查询结果:

  1. 生命周期政策对于云获取使用指令集设置一个生命周期策略

  2. 从云中获取覆盖使用指令集设置云获取覆盖

设置一个云获取生命周期政策

设置一个生命周期策略:

  1. 在AWS控制台,去S3服务。

  2. 点击S3 bucket使用为您的工作空间的根存储。

  3. 打开管理选项卡并选择创建生命周期规则

  4. 选择的任何名称生命周期规则名称

  5. 保持空前缀字段。

  6. 生命周期规则的行为选择永久删除对象的非流动的版本

  7. 设置一个值下天后对象成为非流动。我们建议使用价值1。

  8. 点击创建规则

生命周期策略

一旦你设定一个生命周期的政策可以使云获取通过设置一个覆盖。

设置云获取覆盖

上启用云获取集群

  1. 高级选项的集群。看到从集群获得连接细节

  2. 点击火花

  3. 添加这个配置:

    spark.databricks.cloudfetch.override。使真正的

上启用云获取SQL仓库

  1. 点击设置在侧边栏。

  2. SQL管理控制台选择SQL仓库设置

  3. 数据访问配置添加这个配置:

    spark.databricks.cloudfetch.override。使真正的
  4. 点击保存

故障排除

看到故障排除JDBC、ODBC连接