能够满足需求
能够满足需求
研讨会:构建流媒体数据管道使用结构化流和三角洲湖
物联网的兴起和其他实时来源和企业的画快见解的欲望,越来越多的数据专业人员必须构建流媒体数据管道。给予过多的不同的工具和框架在大数据社区,是具有挑战性的建筑师管道正确,达到预期的性能和数据质量。因此重要的是要正确理解相应的业务和技术需求管道和选择正确的工具来构建。
结构化流在Apache火花™已经被证明是最好的平台构建分布式流处理应用程序。bob体育客户端下载其统一SQL /数据/ DataFrame api和火花的内置功能方便开发人员来表达复杂的计算。然而,这只解决了一半的问题建立端到端管道。从处理过的数据获得的见解,重要的是要确保下游应用程序可以查询的输出管道有效和可靠。当前数据湖解决方案提供一个可伸缩的存储解决方案而不是数据库和数据仓库的数据质量和可靠性是出名的。为了解决这个问题,我们的最初创造者Apache火花™,建造了三角洲湖,一个开放源存储层带来ACID事务和可扩展的元数据数据处理湖泊。
在这个网络研讨会,我们将展示如何结构化流和三角洲湖在一起使其语言编写的端到端管道。具体来说,我们将介绍以下。
- 如何处理的问题设计管道通过批判性理解需求?
- 如何分类管道常见的设计模式?
- 如何解决每个模式以正确的方式使用结构化流及三角洲湖吗?
- 最后,未来三角洲湖的路线图是什么?
演讲嘉宾
如来佛(TD) Das,高级软件工程师,砖
如来佛Das是一个Apache火花提交者和PMC的一员。他背后的领先开发商火花流,目前开发结构化流。以前,他是一个研究生在加州大学伯克利分校AMPLab,他在那里研究关于数据中心框架和网络和斯科特Shenker离子斯托伊卡。