演示integrazione di砖在云苏Azure

创建Azure Azure砖工厂集成的数据添加一个Azure管道砖笔记本的活动。在活动中,我添加一个新的Azure砖与服务指向一个Azure砖工作区并进行适当的配置,以使用现有的交互式计算集群。最后,我选择一个笔记本路径的砖工作区将用于转换数据和负载成δ湖。

当我运行的管道,输出窗口显示已经运行的不同的活动,在我砖活动,我可以浏览到管道运行时执行的笔记本。

从元数据我们可以看到这个笔记本成功执行,花了23秒。

在代码中真正的工作开始当我创建一个名为“维护头DF”的DataFrame读取铺文件ADF滴到着陆区。即使我读拼花的数据,格式是“云文件”因为我使用自动加载程序来自动检测新文件,因为他们在我着陆区土地。我也为我创建一个DataFrame功率输出数据。我写我的DataFrame三角洲湖表使用writeStream命令,指定格式的三角洲,并提供表写在Azure湖数据存储位置。我也使用一个选项称为“triggerOnce”程序代码流管道,但运行它作为一个面向批处理的执行。

流数据管道与物联网事件中心,引发流

接下来,我们使用一个物联网模拟器由Azure发送实时流媒体数据有效载荷提供类似由真正的风力涡轮机到Azure物联网事件中心。当我们按下“运行”按钮,模拟器开始发送遥测和天气数据到物联网中心每一秒。

在活动中心指标,我们可以看到模拟器运行和发送新消息事件中心为我们说话。

在蔚蓝的砖,我们创建了一个笔记本,上面写着这个从物联网事件流数据中心。代码的第一部分从物联网设备原始JSON数据解析到DataFrame列。如您所见,使用火花连接器连接很简单的活动中心。然后我们天气数据和涡轮机数据分割成不同DataFrames,并将数据存储在三角洲格式。三角洲格式是三角洲Lakehouse的基础架构,并提供流媒体事务和增量数据加载数据湖。

在这个可视化流DataFrame,你可以看到数据刷新生活,用新的数据点到达每一秒。

我们也可以创建一个为每个小时的滚动窗口滚动聚合,并将它存储在三角洲格式在银层,为下游数据分析师和应用程序使用。

提供黄金三角洲湖与SQL Azure突触专用池表

在第三部分的演示,我们通过结合信息从提高数据维护系统(由批处理加载)物联网和遥测数据流(加载)。之后,我们将结果存储在一个黄金三角洲湖湖表在Azure数据存储,并发布SQL Azure突触分析专用池。

黄金三角洲湖表将用于科学和机器学习的数据,以及数据探索和数据分析直接在砖笔记本和砖的SQL执行分析。加载到一个突触专用的SQL版本池通常是一个较小的表与高级聚合用于高并发性,低延迟的工作负载。

突触SQL Azure砖提供了一个高性能的连接器池。这个连接器既支持批处理和流刷新。在这种情况下,涡轮黄金表不断刷新在线更新。

在SQL数据可视化浏览和分析

简化流程和获取数据的业务更快,许多组织使用砖使报告直接从三角洲湖SQL BI分析和权力。作为一个业务分析师,我可以看到SQL分析数据提供给我。我创建了一个新的查询通过单击“新查询”按钮在UI中。在浏览器的数据,我可以连接到物联网演示数据库,看看表提供给我,他们的元数据。我可以查询涡轮黄金表,浏览数据,甚至使简单的数据可视化。

连接到电源与SQL BI分析端点

但是如果我真的需要我的数据,Azure砖与权力BI通过一个集成的优化连接器提供了一个安全的,更多的交互式数据可视化经验数据存储在您的数据。连接电源BI砖SQL的分析,我浏览到端点和检查我的端点的连接信息连接细节选项卡。从内部权力BI,点击“获取数据”>“,”>“Azure,”>“蔚蓝的砖,然后连接。“我复制服务器主机名和HTTP路径信息从我的端点到BI。可选地,我可以输入数据库名称,选择“导入”或“DirectQuery”,然后点击“OK”。

当表和视图列表出现在navigator UI,我可以选择涡轮黄金表,单击“加载。“一旦权力BI加载数据到数据模型,我可以开始拖放字段列表到我的画布上,解剖数据交互,甚至创造视觉吸引力,企业级报告和仪表板可以发布到BI服务和与我的团队分享。