辛迪摩特谢德

我们提出我们的解决方案建立一个人工智能体系结构,提供了工程团队的能力,利用数据驱动的洞察力和帮助我们的客户解决他们的问题。我们从孤立的数据开始,实体被每个产品描述的不同,不同的格式,复杂的安全性和访问计划、数据分布在许多地方和系统。我们讨论如何创建了一个三角洲湖一起把这个数据,插装数据摄入各种外部数据源,建立法律和安全协议来访问三角洲湖,并详细描述我们的方法使所有数据统一到一个共同使用元数据驱动的管道数据模型。

这个元数据驱动的管道或配置驱动管道(CDP)使用火花结构化流从摄取改变事件数据,引用数据目录服务来获取所需的映射和转换推动这符合数据到公共数据模型。管道使用广泛的火花API来执行所需的许多类型的转换把这些变化事件进来UPSERT三角洲清洁发展机制。这个模型可以采取任何组关系数据库(1000年代在我们的例子中),并将它们转换为大数据格式(三角洲湖/拼花)清洁发展机制在一个可伸缩的、高性能的方式从元数据。它可以执行schema-on-read从这个CDM项目在任何请求的目标位置(数据库、文件系统、流等)。这提供了数据科学家请求数据的能力通过指定元数据,以及管道将自动运行生产模式需要与所有数据类型符合标准的价值和存放到指定的目的地。