Madhav阿格尼

欧洲核子研究中心需要知道它拥有什么资产,他们所在的地方,这些资产的状态。配置管理系统是一个库存资产和它类似的服务器、网络设备、存储阵列和软件许可证。有必要把所有的数据源到一个地方,这样的欧洲核子研究中心有一个真理来源配置。生了一个名为“Beacon”的数据平台。bob体育客户端下载糟糕的数据质量有重大的商业成本,努力和准确性。低质量数据往往是挂钩操作混乱的来源,准确分析和考虑不周的商业策略。在我们的例子中自配置数据主要是用于决定安全、事件管理、成本分析等由于缺口,造成下游影响数据。处理数据质量问题,介绍了砖和三角洲湖掌舵的数据管道架构。在这次演讲我们将描述背后的旅程建立端到端管道符合CI / CD摄入标准的行业数据,处理、报告机器学习以及三角洲湖起着至关重要的作用,不仅捕获数据问题,使其可伸缩和可重用的其他团队。我们会讨论之间的所面临的挑战和经验教训。