Azure砖Lakehouse平台给你最好的湖泊和数据仓库的数bob体育客户端下载据,在一个简单的、开放和协作平台,安全与现有Azure服务集成。在这个演示中,我们将介绍几个最常见的Azure砖集成,包括Azure数据存储(ADLS)湖,Azure数据工厂(ADF), Azure物联网中心,Azure突触分析电力BI和更多。
更深入到Azure砖
视频记录
介绍Lakehouse Azure砖
Azure砖是联合开发数据+人工智能服务从砖和微软的数据工程,数据科学分析和机器学习。Azure砖Lakehouse平台给你最好的湖泊和数据仓库的数bob体育客户端下载据,在一个简单的、开放和协作平台,安全与现有Azure服务集成。
批ETL管道Azure数据工厂和Azure砖
编排管道进行数据提取、转换和加载(ETL)操作比以往任何时候都更容易由于Azure砖之间的集成和Azure数据工厂。在这个演示,我们将使用功率输出和维护系统记录一个车队管理系统用于维护风力涡轮机在美国。我们已经创建了一个Azure数据工厂管道,使用复制命令不断摄取数据从SQL server的车队管理系统我们在Azure的着陆区数据存储Gen2湖。数据工厂,然后执行一个砖笔记本使用砖自动加载程序来处理数据,并将它保存到三角洲湖表中。
单击扩大→记录
单击崩溃记录→
创建Azure Azure砖工厂集成的数据添加一个Azure管道砖笔记本的活动。在活动中,我添加一个新的Azure砖与服务指向一个Azure砖工作区并进行适当的配置,以使用现有的交互式计算集群。最后,我选择一个笔记本路径的砖工作区将用于转换数据和负载成δ湖。
当我运行的管道,输出窗口显示已经运行的不同的活动,在我砖活动,我可以浏览到管道运行时执行的笔记本。
从元数据我们可以看到这个笔记本成功执行,花了23秒。
在代码中真正的工作开始当我创建一个名为“维护头DF”的DataFrame读取铺文件ADF滴到着陆区。即使我读拼花的数据,格式是“云文件”因为我使用自动加载程序来自动检测新文件,因为他们在我着陆区土地。我也为我创建一个DataFrame功率输出数据。我写我的DataFrame三角洲湖表使用writeStream命令,指定格式的三角洲,并提供表写在Azure湖数据存储位置。我也使用一个选项称为“triggerOnce”程序代码流管道,但运行它作为一个面向批处理的执行。
流数据管道与物联网事件中心,引发流
接下来,我们使用一个物联网模拟器由Azure发送实时流媒体数据有效载荷提供类似由真正的风力涡轮机到Azure物联网事件中心。当我们按下“运行”按钮,模拟器开始发送遥测和天气数据到物联网中心每一秒。
在活动中心指标,我们可以看到模拟器运行和发送新消息事件中心为我们说话。
在蔚蓝的砖,我们创建了一个笔记本,上面写着这个从物联网事件流数据中心。代码的第一部分从物联网设备原始JSON数据解析到DataFrame列。如您所见,使用火花连接器连接很简单的活动中心。然后我们天气数据和涡轮机数据分割成不同DataFrames,并将数据存储在三角洲格式。三角洲格式是三角洲Lakehouse的基础架构,并提供流媒体事务和增量数据加载数据湖。
在这个可视化流DataFrame,你可以看到数据刷新生活,用新的数据点到达每一秒。
我们也可以创建一个为每个小时的滚动窗口滚动聚合,并将它存储在三角洲格式在银层,为下游数据分析师和应用程序使用。
提供黄金三角洲湖与SQL Azure突触专用池表
在第三部分的演示,我们通过结合信息从提高数据维护系统(由批处理加载)物联网和遥测数据流(加载)。之后,我们将结果存储在一个黄金三角洲湖湖表在Azure数据存储,并发布SQL Azure突触分析专用池。
黄金三角洲湖表将用于科学和机器学习的数据,以及数据探索和数据分析直接在砖笔记本和砖的SQL执行分析。加载到一个突触专用的SQL版本池通常是一个较小的表与高级聚合用于高并发性,低延迟的工作负载。
突触SQL Azure砖提供了一个高性能的连接器池。这个连接器既支持批处理和流刷新。在这种情况下,涡轮黄金表不断刷新在线更新。
在SQL数据可视化浏览和分析
简化流程和获取数据的业务更快,许多组织使用砖使报告直接从三角洲湖SQL BI分析和权力。作为一个业务分析师,我可以看到SQL分析数据提供给我。我创建了一个新的查询通过单击“新查询”按钮在UI中。在浏览器的数据,我可以连接到物联网演示数据库,看看表提供给我,他们的元数据。我可以查询涡轮黄金表,浏览数据,甚至使简单的数据可视化。
连接到电源与SQL BI分析端点
但是如果我真的需要我的数据,Azure砖与权力BI通过一个集成的优化连接器提供了一个安全的,更多的交互式数据可视化经验数据存储在您的数据。连接电源BI砖SQL的分析,我浏览到端点和检查我的端点的连接信息连接细节选项卡。从内部权力BI,点击“获取数据”>“,”>“Azure,”>“蔚蓝的砖,然后连接。“我复制服务器主机名和HTTP路径信息从我的端点到BI。可选地,我可以输入数据库名称,选择“导入”或“DirectQuery”,然后点击“OK”。
当表和视图列表出现在navigator UI,我可以选择涡轮黄金表,单击“加载。“一旦权力BI加载数据到数据模型,我可以开始拖放字段列表到我的画布上,解剖数据交互,甚至创造视觉吸引力,企业级报告和仪表板可以发布到BI服务和与我的团队分享。
准备好开始了吗?