没有团体聚集在整个数据集上。

/ / ds.agg(…)是一个缩写ds.groupBy () .agg (…)ds.agg (max(美元“年龄”),avg(美元)“工资”)ds.groupBy () .agg (max ($“年龄”),avg(美元)“工资”))

(java特定)聚集在整个数据集不组。

/ / ds.agg(…)是一个缩写ds.groupBy () .agg (…)ds.agg (地图(“年龄”- >“马克斯”,“工资”- >“平均”)ds.groupBy () .agg (地图(“年龄”- >“马克斯”,“工资”- >“平均”))

(Scala-specific)聚集在整个数据集不组。

/ / ds.agg(…)是一个缩写ds.groupBy () .agg (…)ds.agg (地图(“年龄”- >“马克斯”,“工资”- >“平均”)ds.groupBy () .agg (地图(“年龄”- >“马克斯”,“工资”- >“平均”))

(Scala-specific)聚集在整个数据集不组。

/ / ds.agg(…)是一个缩写ds.groupBy () .agg (…)ds.agg (“年龄”- >“马克斯”,“工资”- >“平均”)ds.groupBy () .agg (“年龄”- >“马克斯”,“工资”- >“平均”)

(Scala-specific)返回一个新的数据集与别名设置一样作为。

返回一个新的数据集与别名设置一样作为。

选择列基于列的名称并返回它列。

(Scala-specific)返回一组新数据集的一个别名。

返回一组新数据集的一个别名。

返回一个新的DataFrame每一行在哪里协调匹配指定的模式。火花将:

• 重新排序的列和/或内部字段的名字与指定的模式匹配。
• 项目列和/或不需要的内部字段指定模式。失踪的列和/或内部字段(在指定的模式而不是输入DataFrame)导致失败。
• 演员和/或内部字段的列在指定的模式匹配的数据类型,如果是兼容的类型,例如,数字数字(如果溢出错误),但不是int字符串。
• 携带超过指定的模式的元数据,而列和/或内部领域仍保持自己的元数据如果不是被指定的模式覆盖。
• 失败如果nullability不兼容的。例如,列和/或内部字段可以为空,但指定的模式要求他们不可以为空。

返回一个新的数据集,每条记录已经被映射到指定的类型。该方法用于地图列取决于类型的U:

• 当U是一个类,类将被映射到列的字段相同的名称(区分大小写取决于spark.sql.caseSensitive)。
• 当U是一个元组,将映射的列顺序(即第一列会分配给吗_1)。
• 当U是一个原始类型(例如字符串、整数等等),那么的第一列DataFrame就会被使用。

如果数据集的模式不匹配所需的U类型,您可以使用选择随着别名orgydF4y2Ba作为根据需要重新排列或重命名。

请注意,为[]只有改变视图的数据传递到输入操作,如map (),并不急切地项目中不存在任何列指定的类。

保存这个数据集使用默认存储水平(MEMORY_AND_DISK)。

返回一个检查点版本的这个数据集。检查点可以用于截断的逻辑计划这个数据集,这是特别有用在迭代算法的计划可能呈现指数级增长。它将被保存到文件目录设置检查站内SparkContext # setCheckpointDir。

急切地检查点并返回新数据集的数据集。检查点可以用于截断的逻辑计划这个数据集,这是特别有用在迭代算法的计划可能呈现指数级增长。它将被保存到文件目录设置检查站内SparkContext # setCheckpointDir。

返回一个新的数据集numPartitions分区,分区要求就越少。如果请求更多的分区,它将留在当前分区的数量。类似于合并在一个定义的抽样,这个操作的结果在一个狭窄的依赖性,例如如果你从1000个分区到100个分区,不会出现洗牌,而不是每个100个新分区将索赔10当前的分区。

然而,如果你正在做一个激烈的融合,如numPartitions = 1,这可能会导致你的计算发生在节点少于你喜欢(例如一个节点在numPartitions = 1)的情况下,为了避免这种情况,你可以叫重新分区。这将添加一个洗牌一步,但意味着当前上游分区并行执行(每无论当前分区)。

选择列基于列的名称并返回它列。

基于列的选择列名称指定为一个正则表达式并返回它列。

返回一个数组,其中包含在这个数据集的所有行。

收集运行需要将所有的数据移动到应用程序的驱动程序的过程,而且这样做在一个非常大的数据集可以崩溃司机过程OutOfMemoryError。

对于Java API,使用collectAsList。

返回一个Java在这个数据集列表包含所有行。

收集运行需要将所有的数据移动到应用程序的驱动程序的过程,而且这样做在一个非常大的数据集可以崩溃司机过程OutOfMemoryError。

返回所有列名作为一个数组。

在数据集返回的行数。

创建一个全局临时视图使用给定的名称。这个临时视图的一生与这个火花应用程序。

全局临时视图是cross-session。其一生火花应用程序的生命周期,即应用程序终止时它会自动下降。绑定到一个系统保存数据库global_temp,我们必须使用限定名称来引用一个全局临时观点,如SELECT * FROM global_temp.view1。

创建或替换一个全局临时视图使用给定的名称。这个临时视图的一生与这个火花应用程序。

全局临时视图是cross-session。其一生火花应用程序的生命周期,即应用程序终止时它会自动下降。绑定到一个系统保存数据库global_temp,我们必须使用限定名称来引用一个全局临时观点,如SELECT * FROM global_temp.view1。

创建一个本地临时视图使用给定的名称。这个临时的生命周期视图相关SparkSession用于创建数据集。

创建一个本地临时视图使用给定的名称。这个临时的生命周期视图相关SparkSession用于创建数据集。

当地临时视图是会话范围内。它的生命周期是创建会话的生命周期,即它在会话终止时将会自动下降。这不是绑定到任何数据库,即我们不能使用db1.view1参考当地临时视图。

明确的笛卡尔连接与另一个DataFrame。

当前数据集的创建一个多维数据集使用指定的列,所以我们可以运行聚合。看到RelationalGroupedDataset对所有可用的聚合函数。

这是多维数据集的一个变体,只能通过现有的组列使用列名(即不能构造表达式)。

/ /计算的平均数字列³部门和集团。ds.cube (“部门”,“集团”).avg ()/ /计算最大年龄和平均工资,由部门和性别的立方。ds.cube ($“部门”美元,“性别”).agg (地图(“工资”- >“平均”,“年龄”- >“马克斯”))

当前数据集的创建一个多维数据集使用指定的列,所以我们可以运行聚合。看到RelationalGroupedDataset对所有可用的聚合函数。

/ /计算的平均数字列³部门和集团。ds.cube ($“部门”美元,“集团”).avg ()/ /计算最大年龄和平均工资,由部门和性别的立方。ds.cube ($“部门”美元,“性别”).agg (地图(“工资”- >“平均”,“年龄”- >“马克斯”))

数字和字符串列的计算基本统计信息,包括计数,意思是,stddev,最小值和最大值。如果没有列,这个函数计算统计数值或字符串列。

这个函数是用于探索性数据分析,我们不能保证向后兼容的模式产生的数据集。如果你想通过编程计算汇总统计,使用gg函数来代替。

ds.describe (“年龄”,“高度”),告诉()/ /输出:/ /总结时代高度/ /计数10.0 - 10.0/ / 53.3 - 178.05/ / stddev 11.6 - 15.7/ /分钟18.0 - 163.0/ /最大92.0 - 192.0

使用总结扩大统计和控制哪些统计信息来计算。

返回一个新的数据集,从这个数据集只包含独特的行。这是一个别名dropDuplicates。

流媒体的注意数据集只有一次,该方法返回不同的行不管输出模式,行为可能不是相同的截然不同的在SQL与流数据集。

返回一个新的数据集,列了。这个版本的接受一个下降列而不是一个名字。这是一个空操作如果数据集不列有一个等价的表达式。

返回一个新的数据集,列了。这是一个空操作如果模式不包含列名(年代)。

这种方法只能用于顶级列。colName字符串处理字面上没有进一步的解释。

返回一个新的数据集,列了。这是一个空操作如果模式不包含列名。

这种方法只能用于顶级列。colName字符串处理字面上没有进一步的解释。

返回一个新的数据集删除重复的行,只考虑列的子集。

对于静态批数据集,它只是重复的行。对于一个流数据集在触发器,它将保持所有数据作为中间状态下降重复行。您可以使用withWatermark限制多晚重复数据可以和相应的系统将限制状态。此外,太晚了以上数据水印将降至避免任何重复的可能性。

返回一个新的数据集删除重复的行,只考虑列的子集。

对于静态批数据集,它只是重复的行。对于一个流数据集在触发器,它将保持所有数据作为中间状态下降重复行。您可以使用withWatermark限制多晚重复数据可以和相应的系统将限制状态。此外,太晚了以上数据水印将降至避免任何重复的可能性。

(Scala-specific)返回一个新的数据集删除重复的行,只考虑列的子集。

对于静态批数据集,它只是重复的行。对于一个流数据集在触发器,它将保持所有数据作为中间状态下降重复行。您可以使用withWatermark限制多晚重复数据可以和相应的系统将限制状态。此外,太晚了以上数据水印将降至避免任何重复的可能性。

返回一个新的数据集,从这个数据集只包含独特的行。这是一个别名截然不同的。

对于静态批数据集,它只是重复的行。对于一个流数据集在触发器,它将保持所有数据作为中间状态下降重复行。您可以使用withWatermark限制多晚重复数据可以和相应的系统将限制状态。此外,太晚了以上数据水印将降至避免任何重复的可能性。

返回所有列名和数据类型作为一个数组。

返回一个新的数据集,其中包含行这个数据集而不是在另一个数据集。这相当于除了不同的在SQL。

返回一个新的数据集,其中包含行这个数据集而不是另一个数据集,同时保留副本。这相当于除了所有在SQL。

将物理计划打印到控制台用于调试目的。

打印计划(逻辑和物理)到控制台用于调试目的。

打印指定计划(逻辑和物理),格式由给定解释模式。

(java特定)返回一个新的数据集,只包含元素的地方函数返回真正的。

(Scala-specific)返回一个新的数据集,只包含元素的地方函数返回真正的。

使用给定的SQL表达式过滤器行。

peopleDs.filter (“年龄> 15”)

过滤器使用给定的条件行。

/ /以下是等价的:peopleDs.filter ($“年龄”>15)peopleDs.where(美元)“年龄”>15)

返回第一行。别名()。

(java特定)返回一个新的数据集,首先将一个函数应用于所有元素的数据集,然后压扁的结果。

(Scala-specific)返回一个新的数据集,首先将一个函数应用于所有元素的数据集,然后压扁的结果。

(java特定的)函数这个数据集的每个元素。

应用一个函数f所有行。

(java特定的)函数在每个分区上的数据集。

应用一个函数f每个分区的数据集。

组数据集使用指定的列,这样我们可以运行聚合。看到RelationalGroupedDataset对所有可用的聚合函数。

这是groupBy的变种,只能通过现有的组列使用列名(即不能构造表达式)。

/ /计算出所有数字列按部门分组的平均水平。ds.groupBy (“部门”).avg ()/ /计算最大年龄和平均工资,按部门分组和性别。ds.groupBy ($“部门”美元,“性别”).agg (地图(“工资”- >“平均”,“年龄”- >“马克斯”))

组数据集使用指定的列,所以我们可以运行聚合。看到RelationalGroupedDataset对所有可用的聚合函数。

/ /计算出所有数字列按部门分组的平均水平。ds.groupBy ($“部门”).avg ()/ /计算最大年龄和平均工资,按部门分组和性别。ds.groupBy ($“部门”美元,“性别”).agg (地图(“工资”- >“平均”,“年龄”- >“马克斯”))

(java特定)返回KeyValueGroupedDataset数据分组通过给定的关键在哪里函数。

(Scala-specific)返回KeyValueGroupedDataset数据分组通过给定的关键在哪里函数。

返回第一行。

返回第一个n行。

指定当前数据集上的一些提示。作为一个例子,下面的代码指定一个计划可以播放:

df1.join (df2.hint (“广播”))

返回一个最优的快照文件组成这个数据集。这种方法只要求每个组成BaseRelation各自的文件,需要工会的所有结果。根据源关系,这可能没有找到所有输入文件。重复删除。

返回一个新的数据集,其中包含行只有在这个数据集和另一个数据集。这相当于相交在SQL。

返回一个新的数据集,其中包含行只有在这个数据集和另一个数据集,同时保留副本。这相当于相交的所有在SQL。

返回true,如果数据集是空的。

返回true,如果收集和取方法可以在本地运行(没有任何火花执行人)。

返回true,如果这个数据集包含一个或多个源不断地返回数据,因为它的到来。一个数据集,从流读取数据来源必须作为一个执行StreamingQuery使用start ()方法DataStreamWriter。方法返回一个单一的答案,例如。count ()orgydF4y2Ba收集(),将会抛出一个AnalysisException当有一个流源。

返回数据集的内容JavaRDD的T年代。

加入另一个DataFrame,使用给定的连接表达式。以下执行之间的完全外连接df1和df2。

/ / Scala:进口org.apache.spark.sql.functions。_ df1。加入(df2,$“df1Key”= = = $“df2Key”,“外”)Java: / /进口静态org.apache.spark.sql.functions。*;df1.join (df2上校(“df1Key”).equalTo(坳(“df2Key”)),“外”);

内连接与另一个DataFrame,使用给定的连接表达式。

/ /下面两个是等价的:df1.join (df2$“df1Key”= = = $“df2Key”其中($)df1.join (df2)“df1Key”= = = $“df2Key”)

(Scala-specific)等值连接与另一个DataFrame使用给定的列。一个交叉连接谓词被指定为一个内连接。如果你明确想执行一个交叉连接使用crossJoin方法。

不同于其他加入功能,连接列只出现一次的输出,即类似于SQL的加入使用语法。

(java特定)等值连接与另一个DataFrame使用给定的列。看到Scala-specific过载的更多细节。

等值连接与另一个DataFrame使用给定的列。一个交叉连接谓词被指定为一个内连接。如果你明确想执行一个交叉连接使用crossJoin方法。

不同于其他加入功能,连接列只出现一次的输出,即类似于SQL的加入使用语法。

(Scala-specific)与另一个的内部相等连接DataFrame使用给定的列。

不同于其他加入功能,连接列只出现一次的输出,即类似于SQL的加入使用语法。

/ /加入df1和df2使用列“user_id”和“user_name”df1.join (df2Seq(“user_id”,“user_name”))

(java特定)与另一个的内部相等连接DataFrame使用给定的列。看到Scala-specific过载的更多细节。

与另一个的内部相等连接DataFrame使用给定的列。

不同于其他加入功能,连接列只出现一次的输出,即类似于SQL的加入使用语法。

/ /加入df1和df2使用列“user_id”df1.join (df2“user_id”)

加入另一个DataFrame。

表现为一个内连接,需要后续连接谓词。

使用内部相等连接加入这个数据集返回Tuple2对于每一对条件评估为true。

加入这个数据集返回Tuple2对于每一对条件评估为true。

这是类似于关系加入函数的一个重要区别结果模式。自joinWith保存对象呈现两侧的加入,结果模式同样列名下嵌套成一个元组_1和_2。

这种类型的连接可以是有用的保留与原对象类型以及类型安全使用关系数据的加入已经列名共同之处。

通过第一个返回一个新的数据集n行。这个函数和之间的区别头是,头是一个行动和返回一个数组(通过触发查询执行)限制返回一个新的数据集。

局部检查点并返回新数据集的数据集。检查点可以用于截断的逻辑计划这个数据集,这是特别有用在迭代算法的计划可能呈现指数级增长。当地检查站写遗嘱执行人存储,尽管可能更快的他们不可靠,可能会影响作业完成。

急切地局部检查点并返回新数据集的数据集。检查点可以用于截断的逻辑计划这个数据集,这是特别有用在迭代算法的计划可能呈现指数级增长。当地检查站写遗嘱执行人存储,尽管可能更快的他们不可靠,可能会影响作业完成。

(java特定)返回一个新的数据集,其中包含应用的结果函数每个元素。

(Scala-specific)返回一个新的数据集,其中包含应用的结果函数每个元素。

(java特定)返回一个新的数据集,其中包含应用的结果f每个分区。

(Scala-specific)返回一个新的数据集,其中包含应用的结果函数每个分区。

返回一个DataFrameNaFunctions处理缺失数据。

/ /删除行包含null值。ds.na.drop ()

通过观察(命名)指标org.apache.spark.sql.Observation实例。这相当于调用观察(字符串,列,列*)但不需要添加org.apache.spark.sql.util.QueryExecutionListener火花会话。这个方法不支持流媒体数据集。

用户可以通过访问检索指标org.apache.spark.sql.Observation.get。

/ /观察行数(行)和最高id (maxid)数据集在写它瓦尔观察=观察(“my_metrics”)瓦尔observed_ds = ds.observe (observation, count(lit(1)。as (“行”)、马克斯($“id”)。as (“maxid”)observed_ds.write.parquet (“ds.parquet”)瓦尔指标= observation.get

在数据集上定义(命名)指标观察。这个方法返回一个“观察”数据集返回相同的结果作为输入,用以下保证:

• 它将计算定义的聚合(指标)在所有流经该数据集的数据。
• 它将报告的价值定义聚合列一旦我们完成点。年底完成点可以是一个查询(批处理模式)或一个流媒体时代的终结。的价值总量只反映了数据处理,因为前面的完成点。

请注意,目前不支持连续执行。

指标列必须包含一个文本(如点燃(42)),或者应该包含一个或多个聚合函数(例如sum (a)或(a + b) +和avg (c) -点燃(1))。表达式包含输入数据集引用的列必须包装在一个聚合函数。

用户可以通过添加观察这些指标org.apache.spark.sql.streaming.StreamingQueryListener或者一个org.apache.spark.sql.util.QueryExecutionListener火花会话。

/ /使用侦听器监控指标。spark.streams.addListener (新StreamingQueryListener () {覆盖defonQueryStarted(事件:QueryStartedEvent):单位= {}覆盖defonQueryProgress(事件:QueryProgressEvent):单位= {event.progress.observedMetrics.asScala.get (“my_event”)。f或each { row= >/ /触发如果错误的数量超过5%瓦尔num_rows = row.getAs [长)(“钢筋混凝土”)瓦尔num_error_rows = row.getAs [长)(“伦理委员会”)瓦尔比率= num_error_rows。toDouble / num_rows如果(比>0.05){/ /触发警报}}}覆盖defonQueryTerminated(事件:QueryTerminatedEvent):单位= {}})/ /观察行数(rc)和错误行数(erc)的流数据集瓦尔observed_ds = ds.observe (“my_event”计数(点燃(1)。as (“钢筋混凝土”),count ($“错误”)。as (“伦理委员会”)observed_ds.writeStream.format (“…”).start ()

返回一个新的数据集,跳过第一n行。

返回一个新的数据集按给定的表达式。这是一个别名排序函数。

返回一个新的数据集按给定的表达式。这是一个别名排序函数。

保存这个数据集与给定的存储水平。

保存这个数据集使用默认存储水平(MEMORY_AND_DISK)。

打印到控制台模式到给定的水平在一个漂亮的树格式。

向控制台打印模式在一个漂亮的树格式。

随机将这个数据集提供的重量。

随机将这个数据集提供的重量。

返回一个Java列表,其中包含随机分裂数据集所提供的重量。

代表数据集的内容作为一个抽样的T。

(java特定)减少这个数据集的元素使用指定的二元函数。给定的函数必须交换和关联,否则结果可能是不确定的。

(Scala-specific)减少这个数据集的元素使用指定的二元函数。给定的函数必须交换和关联,否则结果可能是不确定的。

返回一个新的数据集由给定的分区分区表达式,使用spark.sql.shuffle.partitions分区数量。由此产生的数据集是散列分区。

这是相同的操作为“发布”在SQL (Hive QL)。

返回一个新的数据集由给定的分区分区表达式numPartitions。由此产生的数据集是散列分区。

这是相同的操作为“发布”在SQL (Hive QL)。

返回一个新的数据集numPartitions分区。

返回一个新的数据集由给定的分区分区表达式,使用spark.sql.shuffle.partitions分区数量。生成的数据集范围分区。

必须指定至少一个隔墙被表达。当没有指定明确的排序顺序,“提升null第一”。请注意,每个分区的行不排序结果数据集。

注意,由于性能的原因这个方法使用抽样估计范围。因此,输出可能并不一致,因为抽样可以返回不同的值。样本大小可以控制的配置spark.sql.execution.rangeExchange.sampleSizePerPartition。

返回一个新的数据集由给定的分区分区表达式numPartitions。生成的数据集范围分区。

必须指定至少一个隔墙被表达。当没有指定明确的排序顺序,“提升null第一”。请注意,每个分区的行不排序结果数据集。

注意,由于性能的原因这个方法使用抽样估计范围。因此,输出可能并不一致,因为抽样可以返回不同的值。样本大小可以控制的配置spark.sql.execution.rangeExchange.sampleSizePerPartition。

创建一个多维汇总当前数据集使用指定的列,所以我们可以运行聚合。看到RelationalGroupedDataset对所有可用的聚合函数。

这是汇总的变种,只能通过现有的组列使用列名(即不能构造表达式)。

/ /计算的平均数值列由部门和组卷起来。ds.rollup (“部门”,“集团”).avg ()/ /计算最大年龄和平均工资,卷起的部门和性别。ds.rollup ($“部门”美元,“性别”).agg (地图(“工资”- >“平均”,“年龄”- >“马克斯”))

创建一个多维汇总当前数据集使用指定的列,所以我们可以运行聚合。看到RelationalGroupedDataset对所有可用的聚合函数。

/ /计算的平均数值列由部门和组卷起来。ds.rollup ($“部门”美元,“集团”).avg ()/ /计算最大年龄和平均工资,卷起的部门和性别。ds.rollup ($“部门”美元,“性别”).agg (地图(“工资”- >“平均”,“年龄”- >“马克斯”))

返回真正的当内部逻辑查询计划数据集年代是相等的,因此返回相同的结果。

返回一个新的数据集通过抽样的一小部分行,使用一个随机种子。

返回一个新的数据集通过抽样的一小部分行,使用用户提供的种子。

返回一个新的数据集通过抽样的一小部分行(不重复),使用一个随机种子。

返回一个新的数据集通过抽样的一小部分行(不重复),使用用户提供的种子。

返回数据集的模式。

返回一个新的数据集通过计算给定的列为每个元素表达式。

返回一个新的数据集通过计算给定的列为每个元素表达式。

返回一个新的数据集通过计算给定的列为每个元素表达式。

返回一个新的数据集通过计算给定的列为每个元素表达式。

返回一个新的数据集通过计算给定的列每个元素的表达式。

瓦尔ds =Seq(1,2,3).toDS ()瓦尔newDS = ds.select (expr (“价值+ 1”)。as [Int])

选择一组列。这是一个的变体选择只能选择现有列使用列名(即不能构造表达式)。

/ /下面两个是等价的:ds.select (“可乐”,“colB”)ds.select(美元)“可乐”美元,“colB”)

选择一组基于列的表达式。

ds.select ($“可乐”美元,“colB”+1)

选择一组SQL表达式。这是一个的变体选择接受SQL表达式。

/ /以下是等价的:ds.selectExpr (“可乐”,“colB新名称”,“abs (colC)”)ds.select (expr (“可乐”),expr (“colB新名称”),expr (“abs (colC)”))

内部helper函数返回元组的建筑类型的选择。为简单起见,代码重用,我们这样做没有帮助的类型系统,然后使用辅助函数适当所面临的用户界面。

返回一个hashCode逻辑查询计划的反对数据集。

以表格形式显示数据集。例如:

年月AVG (Adj关闭)马克斯(Adj关闭)1980年120.5032180.5951031981年010.5232890.5703071982年020.4365040.4752561983年030.4105160.4421941984年040.4500900.483521

如果垂直启用时,这个命令打印输出行垂直(一行/列值)?

下0- - - - - - - - - - - - - - - - - - - |1980年月|12AVG (Adj关闭)|0.503218AVG (Adj关闭)|0.595103下1- - - - - - - - - - - - - - - - - - - |1981年月|01AVG (Adj关闭)|0.523289AVG (Adj关闭)|0.570307下2- - - - - - - - - - - - - - - - - - - |1982年月|02AVG (Adj关闭)|0.436504AVG (Adj关闭)|0.475256下3- - - - - - - - - - - - - - - - - - - |1983年月|03AVG (Adj关闭)|0.410516AVG (Adj关闭)|0.442194下4- - - - - - - - - - - - - - - - - - - |1984年月|04AVG (Adj关闭)|0.450090AVG (Adj关闭)|0.483521

以表格形式显示数据集。例如:

年月AVG (Adj关闭)马克斯(Adj关闭)1980年120.5032180.5951031981年010.5232890.5703071982年020.4365040.4752561983年030.4105160.4421941984年040.4500900.483521

以表格形式显示数据集。例如:

年月AVG (Adj关闭)马克斯(Adj关闭)1980年120.5032180.5951031981年010.5232890.5703071982年020.4365040.4752561983年030.4105160.4421941984年040.4500900.483521

显示数据集的前20名行以表格形式。

显示数据集的前20名行以表格形式。超过20个字符的字符串将被截断,所有细胞都将正确对齐。

以表格形式显示数据集。超过20个字符的字符串将被截断,所有细胞都将正确对齐。例如:

年月AVG (Adj关闭)马克斯(Adj关闭)1980年120.5032180.5951031981年010.5232890.5703071982年020.4365040.4752561983年030.4105160.4421941984年040.4500900.483521

返回一个新的数据集按给定的表达式。例如:

ds.sort ($“col1”美元,“col2”.desc)

返回一个新的数据集按指定的列,以升序排序。

/ /以下3是等价的ds.sort (“sortcol”)ds.sort(美元)“sortcol”)ds.sort(美元)“sortcol”.asc)

返回一个新的数据集,每个分区按给定的表达式。

这是相同的操作为“排序方式”在SQL (Hive QL)。

返回一个新的数据集,每个分区按给定的表达式。

这是相同的操作为“排序方式”在SQL (Hive QL)。

返回一个DataFrameStatFunctions工作统计功能的支持。

/ /寻找频繁项列名称“a”。ds.stat.freqItems (Seq(“一个”))

得到数据集的当前存储水平,或StorageLevel。如果不坚持。

计算指定的统计数字和字符串列。可用的统计信息:

• 数
• 的意思是
• stddev
• 最小值
• 马克斯
• 任意指定近似百分位数比例(如75%)
• count_distinct
• approx_count_distinct

如果没有统计数据,这个函数计算统计,意思是,stddev,分钟,大约四分位数(百分位数为25%,50%,75%),和马克斯。

这个函数是用于探索性数据分析,我们不能保证向后兼容的模式产生的数据集。如果你想通过编程计算汇总统计,使用gg函数来代替。

ds.summary(),告诉()/ /输出:/ /总结时代高度/ /计数10.0 - 10.0/ / 53.3 - 178.05/ / stddev 11.6 - 15.7/ /分钟18.0 - 163.0/ / 24.0 - 176.0 25%/ / 24.0 - 176.0 50%/ / 32.0 - 180.0 75%/ /最大92.0 - 192.0

ds.summary (“数”,“最小值”,“25%”,“75%”,“马克斯”),告诉()/ /输出:/ /总结时代高度/ /计数10.0 - 10.0/ /分钟18.0 - 163.0/ / 24.0 - 176.0 25%/ / 32.0 - 180.0 75%/ /最大92.0 - 192.0

为特定的列首先选择做一个总结:

ds.select (“年龄”,“高度”).summary(),告诉()

指定输出自定义统计总结:

ds.summary (“数”,“count_distinct”),告诉()

默认情况下不包括不同的计数。

您还可以运行更快近似的数量:

ds.summary (“数”,“approx_count_distinct”),告诉()

另请参阅描述基本统计信息。

返回最后一个n行数据集。

运行尾巴需要将数据移动到应用程序的驱动程序的过程,而且这样做非常大的n可以用OutOfMemoryError司机崩溃过程。

返回第一个n行数据集。

运行到需要移动数据应用程序的驱动程序的过程,而且这样做非常大的n可以用OutOfMemoryError司机崩溃过程。

返回第一个n行数据集的列表。

运行到需要移动数据应用程序的驱动程序的过程,而且这样做非常大的n可以用OutOfMemoryError司机崩溃过程。

这种强类型集合的数据转换为通用的DataFrame与列重命名。这可以很方便的转换从一个元组成的抽样DataFrame用有意义的名称。例如:

瓦尔抽样:抽样((Int,字符串)=…rdd.toDF ()/ /这个隐式转换创建一个DataFrame列名“_1”、“_2”rdd.toDF (“id”,“名称”)/ /这将创建一个DataFrame列名“id”和“名称”

这种强类型集合的数据转换为通用Dataframe。与强类型数据集操作的对象,一个Dataframe返回通用行对象允许访问的字段顺序或名字。

返回数据集的数据集的内容JSON字符串。

返回数据集的内容JavaRDD的T年代。

返回一个迭代器在这个数据集包含所有行。

迭代器将使用尽可能多的内存最大的分区数据集。

简洁的语法链接自定义转换。

deffeaturize (ds:数据集[T]):数据集(U) =…ds .transform (featurize) .transform (…)

返回一个新的数据集,其中包含联盟在这个数据集的行,另一个数据集。

这相当于UNION ALL在SQL。做一组sql风格联盟(元素),重复数据删除,使用这个函数了截然不同的。

还在SQL作为标准,这个函数解决列位置(而不是按名称):

瓦尔df1 =Seq((1,2,3).toDF (“col0”,“col1”,“col2”)瓦尔df2 =Seq((4,5,6).toDF (“col1”,“col2”,“col0”)df1.union (df2),告诉/ /输出:/ / +——+——+——+/ / | col0 | col1 | col2 |/ / +——+——+——+/ / | 1 | 2 | 3 |/ / | 4 | 5 | 6 |/ / +——+——+——+

注意,模式中的列位置不一定与强类型对象中的字段在一个数据集。这个函数解决模式中列的位置,而不是强类型对象中的字段。使用unionByName解决列类型对象的字段名。

返回一个新的数据集,其中包含联盟在这个数据集的行,另一个数据集。这是一个别名联盟。

这相当于UNION ALL在SQL。做一组sql风格联盟(元素),重复数据删除,使用这个函数了截然不同的。

还在SQL作为标准,这个函数解决列的位置(而不是按名称)。

返回一个新的数据集,其中包含联盟在这个数据集的行,另一个数据集。

这个函数和之间的区别联盟这个函数是解决列的名字(而不是位置)。

当参数allowMissingColumns是真正的,在这个和其他列名的集合数据集可以不同;丢失的列会充满null。此外,失踪的列数据集最后将被添加在联盟的模式结果:

瓦尔df1 =Seq((1,2,3).toDF (“col0”,“col1”,“col2”)瓦尔df2 =Seq((4,5,6).toDF (“col1”,“col0”,“col3”)df1.unionByName (df2真正的),告诉/ /输出:“col3”缺少左df1和添加的模式。/ / +——+——+——+——+/ / | col0 | col1 | col2 | col3 |/ / +——+——+——+——+/ / | 1 | 2 | 3 |零|/ / | 5 | 4 |零| 6 |/ / +——+——+——+——+df2.unionByName (df1真正的),告诉/ /输出:“col2”缺少左df2和添加的模式。/ / +——+——+——+——+/ / | col1 | col0 | col3 | col2 |/ / +——+——+——+——+/ / | 4 | 5 | 6 |零|/ / | 2 | 1 | 3 | | null/ / +——+——+——+——+

注意,这个支持嵌套列结构和数组类型。与allowMissingColumns,失踪的嵌套结构具有相同名称的列的列也会充满了空值和添加到结构的结束。目前不支持嵌套列映射类型。

返回一个新的数据集,其中包含联盟在这个数据集的行,另一个数据集。

这是不同的UNION ALL和结合不同的在SQL。做一组sql风格联盟(元素),重复数据删除,使用这个函数了截然不同的。

这个函数和之间的区别联盟这个函数是解决列的名字(而不是位置):

瓦尔df1 =Seq((1,2,3).toDF (“col0”,“col1”,“col2”)瓦尔df2 =Seq((4,5,6).toDF (“col1”,“col2”,“col0”)df1.unionByName (df2),告诉/ /输出:/ / +——+——+——+/ / | col0 | col1 | col2 |/ / +——+——+——+/ / | 1 | 2 | 3 |/ / | 6 | 4 | 5 |/ / +——+——+——+

注意,这个支持嵌套列结构和数组类型。目前不支持嵌套列映射类型。

数据标记为非持久性,并删除所有从内存和磁盘块。这不会un-persist任何缓存的数据是建立在这个数据集。

数据标记为非持久性,并删除所有从内存和磁盘块。这不会un-persist任何缓存的数据是建立在这个数据集。

使用给定的SQL表达式过滤器行。

peopleDs.where (“年龄> 15”)

过滤器使用给定的条件行。这是一个别名过滤器。

/ /以下是等价的:peopleDs.filter ($“年龄”>15)peopleDs.where(美元)“年龄”>15)

返回一个新的数据集通过添加一个列或替换现有的列有相同的名字。

列的表达式必须参考这个数据集提供的属性。添加一个列是一个错误,是指其他的数据集。

返回一个新的数据集与一列重命名。这是一个操作模式不包含existingName如果。

(java特定)返回一个新的数据集通过添加列或替换现有的列有相同的名字。

colsMap列名的地图和列,列必须参考这个数据集提供的属性。这是一个错误添加列是指其他的数据集。

(Scala-specific)返回一个新的数据集通过添加列或替换现有的列有相同的名字。

colsMap列名的地图和列,列必须参考这个数据集提供的属性。这是一个错误添加列是指其他的数据集。

返回一个新的数据集通过更新现有列元数据。

定义了一个事件时间水印数据集。水印追踪一个时间点之前,我们认为,迟到没有更多的数据。

火花将使用这个水印几个目的:

• 知道当一个给定的时间窗口聚合可以完成,因此可以使用输出模式时发出不允许更新。
• 最小化的状态,我们需要保持正在进行的聚合,mapGroupsWithState和dropDuplicates操作符。

当前水印是通过查看计算马克斯(eventTime)查询中看到的所有分区-用户指定delayThreshold。由于成本的协调跨分区这个值,实际水印只保证至少使用delayThreshold在实际的事件时间。在某些情况下,我们可能仍然过程记录,超过到达delayThreshold迟了。

界面非流式数据集的内容保存到外部存储。

界面流数据集的内容保存到外部存储。

创建一个为v2消息编写配置构建器。

这个建筑是用来配置和执行写操作。例如,添加到现有表,运行:

df.writeTo (“catalog.db.table”).append ()

这也可以用于创建或替换现有的表:

df.writeTo (“catalog.db.table”).partitionedBy(美元)“上校”).createOrReplace ()

(Scala-specific)返回一个新的数据集,单个列已扩大到零个或多个行提供的功能。这是类似于一个侧面图在HiveQL。所有列的输入行隐式地与每个值输出的功能。

考虑到这是弃用,作为一种替代方法,您可以使用爆炸列functions.explode ():

ds.select(爆炸(分裂($“单词”,”“)。as (“单词”))

orgydF4y2BaflatMap ():

ds.flatMap (_.words.split (”“))

(Scala-specific)返回一个新的数据集,每一行已扩大到零个或多个行提供的功能。这是类似于一个侧面图在HiveQL。输入的列行是隐式地与每一行输出的功能。

考虑到这是弃用,作为一种替代方法,您可以使用爆炸列functions.explode ()orgydF4y2BaflatMap ()。下面的例子使用这些替代计算给定单词书包含的数量:

情况下类书(标题:字符串单词:字符串)瓦尔ds:数据集(书)瓦尔allWords = ds.select(美元)“标题”爆炸(分裂($“单词”,”“)。as (“单词”))瓦尔bookCountPerWord = allWords.groupBy (“单词”).agg (count_distinct (“标题”))

使用flatMap ()这同样可以爆炸:

ds.flatMap (_.words.split (”“))

注册这个数据集作为一个临时表使用给定的名称。这个临时表与生命SparkSession用于创建数据集。