火花3.0版本中,所有内置的文件源连接器(包括拼花、兽人、JSON、Avro CSV、文本)被重新使用新的数据源API V2。我们会给一个技术概述的火花读写这些文件格式根据用户指定的数据布局。谈话也将解释蜂巢Serde和本地连接器之间的差异,并分享的经验如何调优连接器和选择最好的数据布局实现最佳性能。
砖
在砖Gengliang王是一个软件工程师。他是一个活跃的火花贡献者和他的主要兴趣是在火花SQL。此前,他曾在Linkedin和Hulu构建后端web服务。
