连接到玛蒂利安
Matillion ETL是一个专门为云数据库平台(包括Databricks)构建的ETL/ELT工具。bob体育客户端下载Matillion ETL有一个现代的,基于浏览器的UI,具有强大的,下推式ETL/ELT功能。
您可以集成Databricks SQL仓库(以前Databricks SQL端点)和Databricks集群Matillion。
使用伙伴连接连接到Matillion
本节描述如何使用Partner Connect来简化Databricks工作区中的现有SQL仓库或集群连接到Matillion的过程。
需求
看到需求使用伙伴连接。
连接的步骤
要使用Partner connect连接到Matillion,请遵循本节中的步骤。
提示
如果您已有Matillion帐户,Databricks建议您手动连接到Matillion。这是因为合作伙伴连接中的连接体验针对新的合作伙伴帐户进行了优化。
在侧栏中,单击合作伙伴联系.
单击Matillion瓷砖。
的电子邮件框显示Databricks帐户的电子邮件地址。Matillion使用此电子邮件地址提示您创建一个新的Matillion帐户或登录到您现有的Matillion帐户。
点击连接到Matillion ETL或登录.
浏览器中会打开一个新选项卡,其中显示Matillion Hub。
在Matillion中完成屏幕上的说明,以创建14天的Matillion试用帐户或登录到现有的Matillion帐户。
重要的
如果出现错误,说明您组织中的某人已经在Matillion中创建了帐户,请联系您组织的管理员之一,并让他们将您添加到组织的Matillion帐户。在他们添加你之后,登录到你现有的Matillion帐户。
完成屏幕上的说明以提供您的工作详细信息,然后单击继续.
完成屏幕上的说明以创建组织,然后单击继续.
单击您创建的组织,然后单击添加Matillion ETL实例.
点击继续浏览AWS.
打开Amazon EC2控制台。
遵循使用亚马逊机器映像启动Matillion ETL在Matillion ETL文档中,从步骤5开始。然后在Amazon Web Services (EC2)上访问Matillion ETL在Matillion ETL文档中。
遵循关联实例在Matillion ETL文档中。
在浏览器中打开Matillion ETL,然后创建项目对话框。
遵循在Databricks项目上创建一个Delta Lake在Matillion文档中。
中的设置三角洲湖泊连接节中,输入以下信息:
为工作区ID,输入Databricks工作区的ID。看到工作区实例名、url和id.
为用户名,输入单词
令牌
.为密码,输入Databricks个人访问令牌的值。
为了得到工作区ID并生成个人访问令牌,执行以下操作:
返回到浏览器中的Partner Connect选项卡。
请注意工作区ID.
点击生成一个新的令牌.
控件的新选项卡将在浏览器中打开用户设置Databricks界面。
点击生成新令牌.
可选地输入描述(注释)和过期期限。
点击生成.
复制生成的个人访问令牌并将其存储在安全的位置。
返回到浏览器中的Matillion选项卡。
中的设置三角洲湖违约节内的这些说明,为集群,选择SQL仓库或集群的名称。
继续下一个步骤.
手动连接到Matillion
本节描述如何手动将Databricks工作区中的现有SQL仓库或集群连接到Matillion。
请注意
您可以使用Partner connect连接到Matillion,以简化体验。
需求
在手动集成Matillion之前,您必须具备以下条件:
一个Matillion ETL实例,您可以使用它来启动AWS CloudFormation,一个亚马逊机器图像(AMI),或AWS市场.
Databricks个人访问令牌。
请注意
作为安全最佳实践,当使用自动化工具、系统、脚本和应用程序进行身份验证时,Databricks建议您使用属于的访问令牌服务主体而不是工作区用户。要为服务主体创建访问令牌,请参见管理服务主体的访问令牌.
连接的步骤
要手动连接到Matillion,请执行以下操作:
获取工作区中要使用的现有计算资源(SQL仓库或集群)的名称。稍后,您将选择该名称来完成计算资源和Matillion ETL实例之间的连接。
对于SQL仓库:
对于集群:
遵循连接到Matillion ETL实例并登录到它在Matillion文档中。
遵循在Databricks项目上创建一个Delta Lake在Matillion文档中。
中的设置三角洲湖泊连接节中,输入以下信息:
为工作区ID,输入Databricks工作区的ID。看到工作区实例名、url和id.
为用户名,输入单词
令牌
.为密码,输入Databricks个人访问令牌。
中的设置三角洲湖违约节内的这些说明,为集群,选择SQL仓库或集群的名称。
继续下一个步骤.