现代工业物联网对Azure的分析——第1部分

客户利用Azure砖工业物联网的分析

2020年8月3日在公司博客上

分享这篇文章

这篇文章由三部分组成的系列的工业物联网联合分析是由砖和微软云解决方案架构团队的成员。我们要感谢砖解决方案架构师的萨米尔·古普塔和微软云解决方案架构师拉娜Koprivica和休伯特Dua贡献这两个即将到来的帖子。

工业物联网(IIoT)已经在过去的几年里作为一个基层主要技术堆栈被驾驶在石油天然气行业广泛采用和生产使用在制造、化工、公用事业、交通和能源领域。传统的物联网系统Scada、历史学家甚至Hadoop不提供大数据分析功能所需的大多数组织预测优化工业资产由于以下因素。

挑战	所需的能力
数据量明显更大的和更频繁	能够捕获和储存次秒级细粒度的数据可靠和成本有效的从物联网设备每天流tb的数据
更复杂的数据处理需求	符合acid数据处理,将基于时间窗、聚合轴心,回填,将能够轻松地再加工旧数据
更多的用户角色想要访问数据	数据是一个开放的格式和轻松地共享操作工程师、数据分析师、工程师、数据和数据科学家没有堆砌
可伸缩的ML需要决策	能够快速和协同训练预测模型颗粒,历史数据做出明智的资产优化决策
降低成本的需求比以往任何时候都要高	低成本按需独立平台,尺度数据和工作负载管理前期不需要大bob体育客户端下载量资金

读数据Lakehouse上升探索为什么lakehouses未来的数据架构和数据仓库的父亲,Bill Inmon。

组织转向云计算平台像微软Azure利用可伸缩,IIoT-enabling技术提供使摄取,处bob体育客户端下载理,分析和时间序列数据来源如历史学家和SCADA系统简单。

在第1部分中,我们讨论了端到端技术堆栈和角色Azure砖在现代物联网工业应用程序架构和设计分析。

在第2部分中,我们将深入探讨了现代IIoT分析部署,摄取实时机器的数据从现场设备到Azure IIoT数据存储和湖湖直接执行复杂时间序列处理数据。

在第3部分中,我们将看看机器学习与工业物联网数据和分析。

用例——风力涡轮机的优化

大多数IIoT分析项目旨在最大化短期利用工业资产同时最小化其长期维护成本。在本文中,我们专注于一个假设的能源提供者试图优化其风力涡轮机。最终的目标是确定最优的涡轮机操作参数,最大化每个涡轮机的输出功率,同时最小化其失败的时候了。

这个项目的最后一个构件是:

下面的建筑展示了一个现代,许多组织所使用的最佳平台,利用Azure提供IIoT分析。bob体育客户端下载

这种架构的一个关键组件是Azure数据湖店(ADLS),使写一次,经常访问分析模式在Azure。然而,数据湖泊无法单独解决与时间序列流媒体数据的真实世界的挑战。三角洲存储格式提供了一层弹性和性能在所有数据存储在ADLS来源。专门为时间序列数据,δ提供了以下优势ADLS其他存储格式:

所需的能力	其他格式ADLS Gen 2	三角洲格式ADLS Gen 2
统一批&流	湖泊经常结合数据流存储像CosmosDB,导致一个复杂的架构	符合acid事务将使数据工程师执行流摄取和历史上ADLS批量加载到相同的位置
模式的实施和发展	数据湖泊不执行模式,要求所有数据被推到一个关系数据库的可靠性	默认模式是实施。随着新物联网设备被添加到数据流,安全模式可以进化所以下游应用程序不失败
高效的插入	和合并数据湖泊不支持在线更新,要求删除和插入整个分区执行更新	合并命令是有效的情况下处理延迟物联网阅读,修改维度表用于实时浓缩,或者数据需要再加工。
文件压缩	流时间序列数据到数据湖泊生成成百上千的小文件。	在三角洲Auto-compaction优化文件大小增加吞吐量和并行性。
多维聚簇	湖泊提供下推过滤数据分区	ZORDERing时序等领域时间戳或传感器ID允许砖来过滤,加入这些列100 x速度比简单的分区技术。