高阶函数
Databricks为Apache Spark SQL中的数组提供了专用的原语;这使得使用数组更容易、更简洁,并且省去了通常需要的大量样板代码。这些原语围绕着两个函数编程结构:高阶函数和匿名(lambda)函数。它们一起工作,允许您定义在SQL中操作数组的函数。一个高阶函数获取一个数组,实现如何处理该数组,以及计算的结果将是什么。它委托给lambda函数如何处理数组中的每一项。
Apache Spark内置函数
Apache Spark具有用于操作复杂类型(例如数组类型)的内置函数,包括高阶函数。
下面的笔记本演示了Apache Spark内置函数。