连接到针

预览

这个特性是在公共预览

针可以帮助你巩固你的所有业务数据从不同的数据库和SaaS应用程序(Salesforce, Hubspot Marketo,等等)到三角洲湖。

下面是使用与砖缝的步骤。

第一步:生成一个砖个人访问令牌

针验证使用砖与砖个人访问令牌。生成一个个人访问令牌,按照说明砖个人访问令牌。另请参阅管理个人访问令牌

请注意

作为一个安全最佳实践,验证自动化工具时,系统中,脚本和应用程序,砖属于建议您使用访问令牌服务主体而不是用户工作区。为服务主体,创建访问令牌管理服务主体的访问令牌

第二步:建立一个集群支持集成需求

针将数据写入一个S3 bucket和砖集成的集群将从该位置读取数据。因此集成集群需要安全访问S3 bucket。

安全访问S3 bucket

AWS资源的访问,你可以启动砖集成集群实例的配置文件。实例配置文件应该访问分期S3 bucket和目标S3 bucket,你想写三角洲表。创建一个实例配置文件和配置集成集群使用的角色,按照说明S3访问配置实例配置文件

作为一种替代方法,您可以使用我凭证透传,使特定于用户的访问S3数据从一个共享集群。

指定集群配置

  1. 集群模式标准

  2. 砖的运行时版本的运行时:6.3或以上。

  3. 启用自动优化你通过添加以下属性火花配置:

    spark.databricks.delta.optimizeWrite.enabled真实spark.databricks.delta.autoCompact.enabled真实
  4. 配置您的集群根据您的集成和扩展的需要。

集群配置的细节,请参阅配置集群

看到检索连接细节的步骤来获得JDBC URL和HTTP路径。

步骤3:配置和砖缝

登录页面,按提示操作。

额外的资源

支持