Apache火花API参考

砖是建立在Apache的火花,一个统一的大数据分析引擎和机器学习。bob体育亚洲版有关更多信息,请参见Apache火花在砖。

Apache火花DataFrame api操作大型数据集,其中包括超过100个运营商。有关更多信息,请参见砖PySpark API参考。

• PySpark api对于Python开发人员。看到教程:使用PySpark DataFrames砖。主要课程包括:

  • SparkSession-入口点和数据集和DataFrame API编程火花。

  • DataFrame——一个分布式数据分为命名列的集合。看到DataFrames和DataFrame-based MLlib。

• SparkR概述开发人员为R。主要课程包括:

  • SparkSession——SparkSession SparkR入口。看到起点:SparkSession。

  • SparkDataFrame——一个分布式数据分为命名列的集合。看到数据集和DataFrames,创建DataFrames,创建SparkDataFrames。

• Scala api。主要课程包括:

  • SparkSession-入口点和数据集和DataFrame API编程火花。看到起点:SparkSession。

  • 数据集——一个强类型集合的特定于域的对象可以使用功能或关系转变为并行操作。每一个数据集也有一个无类型的视图称为DataFrame,这是一个数据集的行。看到数据集和DataFrames,创建数据集,创建DataFrames,DataFrame功能。

• Java api。主要课程包括:

  • SparkSession-入口点和数据集和DataFrame API编程火花。看到起点:SparkSession。

  • 数据集——一个强类型集合的特定于域的对象可以使用功能或关系转变为并行操作。每一个数据集也有一个无类型的视图称为DataFrame,这是一个数据集的行。看到数据集和DataFrames,创建数据集,创建DataFrames,DataFrame功能。

学习如何使用Apache火花api在砖上,见:

• 砖的Python开发人员

• 砖R的开发人员

• 砖为Scala开发人员

• 对于Java,您可以运行作为一个Java代码JAR的工作。