连接到Syncsort

预览

这个特性是在公共预览。

Syncsort帮助你分解数据竖井通过整合遗产,大型机,IBM数据与数据砖。您可以轻松地将数据从这些来源为三角洲湖。

这是用Syncsort砖的步骤。

第一步:生成一个砖个人访问令牌

Syncsort验证使用砖与砖的个人访问令牌。

请注意

作为一个安全最佳实践进行身份验证时使用自动化工具,系统、脚本和应用程序,砖建议您使用OAuth令牌或个人访问令牌属于服务主体而不是用户工作区。为服务主体,创建令牌服务主体的管理令牌。

Syncsort将数据写入一个S3 bucket和砖集成的集群将从该位置读取数据。因此集成集群需要安全访问S3 bucket。

AWS资源的访问,你可以启动砖集成集群实例的配置文件。实例配置文件应该访问分期S3 bucket和目标S3 bucket,你想写三角洲表。创建一个实例配置文件和配置集成集群使用的角色,按照说明S3访问配置实例配置文件。

作为一种替代方法,您可以使用我凭证透传,使特定于用户的访问S3数据从一个共享集群。

                spark.databricks.delta.optimizeWrite.enabled真实spark.databricks.delta.autoCompact.enabled真实
               

集群配置的细节,请参阅创建一个集群。

看到检索连接细节的步骤来获得JDBC URL和HTTP路径。

连接一个砖集群Syncsort需要JDBC / ODBC连接属性如下:

去砖和大数据的连接登录页面,按提示操作。