Kirby Prowting

在玛氏宠物护理(在一个被称为亲属数据和分析的部门)，我们正在构建宠物护理数据平台——一个基于云的数据湖解决方案。bob体育客户端下载利用微软Azure，我们面临着关于工具和设计的重要决策。我们选择三角洲湖作为存储层来构建我们的平台，并通过玛氏宠物护理为科学界带来洞察力。bob体育客户端下载从Azure数据工厂完全迁移，我们利用Spark和Databricks构建了“Kyte”，这是一个定制的管道工具，它极大地加快了我们从整个庞大而复杂的组织中吸收、清理和处理新数据源的能力。在此基础上，我们开始使用Delta Lake进行ETL配置，并构建了一个定制的UI来监控和调度我们的Spark管道。了解更多关于为什么我们选择Spark为主的ETL设计和Delta Lake驱动的平台，从Azure数据工厂迁移的优势(和困难)，以及为什么我们致力于将Spark和Dbob体育客户端下载elta Lake作为平台的核心，以支持我们的使命:为宠物创造更美好的世界!关键外卖:

• 利用Delta Lake作为工程师向数据科学家公开数据
• Databricks & Spark ETL解决方案优于Azure数据工厂的优势
• 使用Delta Lake进行ETL配置