90 +数据源连接到Azure砖和Azure湖数据工厂

数据的湖泊使组织能够始终如一地交付价值和洞察力通过安全、及时获得各种数据源。旅程的第一步就是编排和自动化摄入与健壮的数据管道。作为数据数量、种类和速度迅速增加,有一个更大的可靠和安全的管道需要提取、转换和加载(ETL)数据。

砖客户过程每个月两个eb(20亿字节)的数据Azure砖是增长最快的数据与人工智能服务微软Azure今天。Azure砖之间的紧密集成和其他Azure服务使客户能够简化和规模数据摄入管道。例如,集成Azure Active Directory (Azure广告)使一致的基于云的身份和访问管理。同时,与湖Azure数据存储集成(ADLS)提供高度可伸缩的、安全的存储大数据分析和Azure数据工厂(ADF)使大规模混合简化ETL数据集成。

图:批ETL Azure数据工厂和Azure砖

连接、摄取和转换数据用一个工作流

ADF包括90 +内置数据源连接器并无缝地运行Azure砖笔记本和摄取所有的数据源连接成一个单一数据湖。ADF还提供内置的工作流控制、数据转换、管道调度、数据集成和更多的功能来帮助您创建可靠的数据管道。ADF使客户能够摄取原始格式的数据,然后提炼数据,将其转化为青铜、白银和黄金表Azure砖和三角洲湖。例如,客户经常使用Azure ADF砖三角洲湖启用SQL查询的数据的湖泊和建立机器学习的数据管道。

开始使用Azure砖和Azure数据的工厂

运行一个Azure砖笔记本使用Azure数据工厂,导航到Azure门户和搜索“数据工厂”,然后单击“创建”来定义一个新的数据工厂。

接下来,为数据工厂提供一个唯一的名称,选择订阅,然后选择一个资源组和地区。单击“创建”。

一旦创建,单击“资源”按钮来查看工厂的新数据。

现在打开数据工厂用户界面通过点击“作者&监控”瓷砖。

从Azure数据工厂“让我们开始”页面,点击左侧面板的“作者”按钮。

接下来,点击“连接”在屏幕的底部,然后单击“新”。

从“新链接服务”窗格中,单击“计算”选项卡,选择“Azure砖”,然后单击“继续”。

Azure砖与服务输入一个名称,并选择一个工作区。

创建一个访问令牌从Azure砖工作区单击用户在屏幕右上角的图标,然后选择“用户设置”。

点击“生成新的令牌”。

令牌复制并粘贴到链接的服务形式,然后选择一个集群的版本,大小和Python版本。审查所有的设置,然后单击“创建”。

与相关服务,是时候创建一个管道。从Azure数据工厂的用户界面,点击加号(+)按钮,并选择“管道”。

添加一个参数通过单击“参数”选项卡,然后单击加号(+)按钮。

接下来,添加一个砖笔记本管道通过扩大“砖”活动,然后拖拽一个砖笔记本到管道设计画布。

通过选择“连接到Azure砖工作区Azure砖"选项卡并选择上面创建的链接服务。接下来,单击“设置”选项卡指定笔记本路径。现在点击“验证”按钮,然后“发布”发布ADF服务。

一旦发表,引发管道运行通过点击“添加现在触发|”。

检查参数,然后单击“Finish”引发管道运行。

现在切换到“监控”选项卡左边面板上看到管道运行的进程。

将Azure砖笔记本集成到Azure数据工厂管道参数化提供了一个灵活的、可伸缩的方法和实施定制ETL代码。了解更BOB低频彩多关于如何Azure砖与Azure数据集成工厂(ADF),看到的这ADF博客和这个ADF教程。想要了BOB低频彩解更多关于如何在您的数据探索和查询数据,看到这个网络研讨会,使用SQL来查询您的数据与三角洲湖湖。