回到昔日的Apache火花,火花是一个耐心的练习使用Python。数据从Python Scala上下移动,不断在连载。利用SparkSQL和避免udf让事情更好,同样的不断改进当今(催化剂和钨)。但是,火花2.3之后,PySpark加快serialisers非常感谢的箭头。在这个演讲您将学习如何引发Scala核心与Python通信流程,如何跨子系统和数据交换发展现在和正在努力让它尽快。
混合理论
鲁本Berenguel铅数据工程师混合理论,以及偶尔的贡献者火花(尤其是PySpark)。数学博士学位,他搬到数据工程,他的工作主要是与Scala, Python和去设计和实现大数据管道在伦敦和巴塞罗那。