包

类BarrierTaskContext扩展TaskContext与日志记录

实验::::TaskContext额外的上下文信息和工具的任务在舞台的一个障碍。使用BarrierTaskContext #得到获取运行障碍的障碍环境的任务。

注释
@Experimental () @Since (“测试盒框”)
线性超
日志记录,TaskContext,可序列化的,AnyRef,任何
订购
  1. 字母
  2. 通过继承
继承了
  1. BarrierTaskContext
  2. 日志记录
  3. TaskContext
  4. 可序列化的
  5. AnyRef
  6. 任何
  1. 隐藏所有
  2. 显示所有
可见性
  1. 公共
  2. 所有

值的成员

  1. 最后def! =(arg0:任何):布尔
    定义类
    AnyRef→任何
  2. 最后def# #():Int
    定义类
    AnyRef→任何
  3. 最后def= =(arg0:任何):布尔
    定义类
    AnyRef→任何
  4. defaddTaskCompletionListener(听众:TaskCompletionListener):BarrierTaskContext.this.type

    添加一个(Java友好的)监听器上执行的任务完成。

    添加一个(Java友好的)监听器上执行的任务完成。这将被称为在所有情况下,成功,失败,或取消。将一个侦听器添加到一个已经完成的任务会导致立即侦听器被调用。

    两个侦听器注册在同一个线程将调用注册在相反的顺序,如果都是注册后任务完成。没有要求保证在不同的线程,监听器注册或注册监听器后任务完成。听众保证按顺序执行。

    一个例子使用是HadoopRDD注册一个回调关闭输入流。

    侦听器抛出的异常将导致任务的失败。

    定义类
    BarrierTaskContext→TaskContext
  5. defaddTaskCompletionListener(U](福:(TaskContext)⇒U):TaskContext

    添加一个侦听器的形式Scala关闭任务执行完成。

    添加一个侦听器的形式Scala关闭任务执行完成。这将被称为在所有情况下,成功,失败,或取消。将一个侦听器添加到一个已经完成的任务会导致立即侦听器被调用。

    一个例子使用是HadoopRDD注册一个回调关闭输入流。

    侦听器抛出的异常将导致任务的失败。

    定义类
    TaskContext
  6. defaddTaskFailureListener(听众:TaskFailureListener):BarrierTaskContext.this.type

    添加一个侦听器在执行任务失败。

    添加一个侦听器在执行任务失败。将一个侦听器添加到一个已经失败的任务将导致立即侦听器被调用。

    定义类
    BarrierTaskContext→TaskContext
  7. defaddTaskFailureListener(福:(TaskContext,Throwable)⇒单位):TaskContext

    添加一个侦听器在执行任务失败。

    添加一个侦听器在执行任务失败。将一个侦听器添加到一个已经失败的任务将导致立即侦听器被调用。

    定义类
    TaskContext
  8. defallGather(信息:字符串):数组(字符串]

    ::实验::街区,直到所有任务在同一阶段达到了这个例程。

    ::实验::街区,直到所有任务在同一阶段达到了这个例程。每个任务传入消息并返回所有传入消息的列表,每一个任务。

    谨慎!allGather方法需要相同的预防措施障碍的方法

    消息类型字符串而不是数组(字节),因为它是更方便了用户的性能下降。

    注释
    @Experimental () @Since (“3.0.0”)
  9. 最后defasInstanceOf(T0]:T0
    定义类
    任何
  10. defattemptNumber():Int

    这个任务已经尝试多少次。

    这个任务已经尝试多少次。第一个任务尝试将分配attemptNumber = 0,和随后的尝试将会增加数量。

    定义类
    BarrierTaskContext→TaskContext
  11. def障碍():单位

    ::实验::设置一个全球屏障和等待,直到所有任务在这个阶段达到这一障碍。

    ::实验::设置一个全球屏障和等待,直到所有任务在这个阶段达到这一障碍。类似于MPI MPI_Barrier功能障碍()函数调用块直到所有任务在同一阶段达到了这个例程。

    谨慎!在一个障碍阶段,每个任务都必须有相同数量的屏障()调用,在所有可能的代码分支。否则,你可能会得到这份工作后悬挂或SparkException超时。的一些例子误用下面列出了:1。只叫屏障()函数的一个子集中的所有任务相同的障碍阶段,应当导致函数调用的超时。

    rdd.barrier ()。mapPartitions {iter= >瓦尔上下文= BarrierTaskContext.get ()如果(context.partitionId () = =0){/ /什么都不做。}其他的{context.barrier ()} iter}

    2。包括屏障()函数在一个try - catch代码块,这可能会导致第二个函数调用的超时。

    rdd.barrier ()。mapPartitions {iter= >瓦尔上下文= BarrierTaskContext.get ()试一试{/ /做一些可能会抛出一个异常。context.barrier doSomething () ()}抓{情况下艾凡:异常= >logWarning (“…”iter, e)} context.barrier ()}
    注释
    @Experimental () @Since (“测试盒框”)
  12. def克隆():AnyRef
    属性
    保护(朗]
    定义类
    AnyRef
    注释
    @throws (…) @native ()
  13. defcpu():Int

    cpu分配给的任务。

    cpu分配给的任务。

    定义类
    BarrierTaskContext→TaskContext
  14. 最后def情商(arg0:AnyRef):布尔
    定义类
    AnyRef
  15. def=(arg0:任何):布尔
    定义类
    AnyRef→任何
  16. def完成():单位
    属性
    保护(朗]
    定义类
    AnyRef
    注释
    @throws (名为[java.lang.Throwable] classOf)
  17. 最后defgetClass():类(_)
    定义类
    AnyRef→任何
    注释
    @native ()
  18. defgetLocalProperty(关键:字符串):字符串

    让司机,当地的一个属性集上游或null如果是失踪。

    让司机,当地的一个属性集上游或null如果是失踪。另请参阅org.apache.spark.SparkContext.setLocalProperty。

    定义类
    BarrierTaskContext→TaskContext
  19. defgetMetricsSources(sourceName:字符串):Seq(源]

    ::DeveloperApi::返回所有指标来源的名字相关的实例运行的任务。

    ::DeveloperApi::返回所有指标来源的名字相关的实例运行的任务。更多信息见org.apache.spark.metrics.MetricsSystem。

    定义类
    BarrierTaskContext→TaskContext
  20. defgetTaskInfos():数组(BarrierTaskInfo]

    ::实验::回报BarrierTaskInfo这个障碍阶段,所有任务的命令通过分区ID。

    ::实验::回报BarrierTaskInfo这个障碍阶段,所有任务的命令通过分区ID。

    注释
    @Experimental () @Since (“测试盒框”)
  21. defhashCode():Int
    定义类
    AnyRef→任何
    注释
    @native ()
  22. definitializeLogIfNecessary(isInterpreter:布尔,沉默:布尔):布尔
    属性
    受保护的
    定义类
    日志记录
  23. definitializeLogIfNecessary(isInterpreter:布尔):单位
    属性
    受保护的
    定义类
    日志记录
  24. defisCompleted():布尔

    返回true,如果任务已经完成。

    返回true,如果任务已经完成。

    定义类
    BarrierTaskContext→TaskContext
  25. 最后defisInstanceOf(T0]:布尔
    定义类
    任何
  26. defisInterrupted():布尔

    返回true,如果任务已被杀害。

    返回true,如果任务已被杀害。

    定义类
    BarrierTaskContext→TaskContext
  27. defisTraceEnabled():布尔
    属性
    受保护的
    定义类
    日志记录
  28. def日志:日志记录器
    属性
    受保护的
    定义类
    日志记录
  29. deflogDebug(味精:⇒字符串,throwable:Throwable):单位
    属性
    受保护的
    定义类
    日志记录
  30. deflogDebug(味精:⇒字符串):单位
    属性
    受保护的
    定义类
    日志记录
  31. deflogError(味精:⇒字符串,throwable:Throwable):单位
    属性
    受保护的
    定义类
    日志记录
  32. deflogError(味精:⇒字符串):单位
    属性
    受保护的
    定义类
    日志记录
  33. deflogInfo(味精:⇒字符串,throwable:Throwable):单位
    属性
    受保护的
    定义类
    日志记录
  34. deflogInfo(味精:⇒字符串):单位
    属性
    受保护的
    定义类
    日志记录
  35. deflogName:字符串
    属性
    受保护的
    定义类
    日志记录
  36. deflogTrace(味精:⇒字符串,throwable:Throwable):单位
    属性
    受保护的
    定义类
    日志记录
  37. deflogTrace(味精:⇒字符串):单位
    属性
    受保护的
    定义类
    日志记录
  38. deflogWarning(味精:⇒字符串,throwable:Throwable):单位
    属性
    受保护的
    定义类
    日志记录
  39. deflogWarning(味精:⇒字符串):单位
    属性
    受保护的
    定义类
    日志记录
  40. 最后def不(arg0:AnyRef):布尔
    定义类
    AnyRef
  41. 最后def通知():单位
    定义类
    AnyRef
    注释
    @native ()
  42. 最后defnotifyAll():单位
    定义类
    AnyRef
    注释
    @native ()
  43. defnumPartitions():Int

    分区总数的阶段,这个任务属于。

    分区总数的阶段,这个任务属于。

    定义类
    BarrierTaskContext→TaskContext
  44. defpartitionId():Int

    抽样的ID分区计算这一任务。

    抽样的ID分区计算这一任务。

    定义类
    BarrierTaskContext→TaskContext
  45. def资源():地图(字符串,ResourceInformation]

    资源分配给的任务。

    资源分配给的任务。关键是资源的名称和值的信息资源。请参考org.apache.spark.resource.ResourceInformation的细节。

    定义类
    BarrierTaskContext→TaskContext
  46. defresourcesJMap():地图(字符串,ResourceInformation]

    (java特定的)资源分配给的任务。

    (java特定的)资源分配给的任务。关键是资源的名称和值的信息资源。请参考org.apache.spark.resource.ResourceInformation的细节。

    定义类
    BarrierTaskContext→TaskContext
  47. defstageAttemptNumber():Int

    多少次的舞台,这个任务属于未遂。

    多少次的舞台,这个任务属于未遂。第一阶段尝试将分配stageAttemptNumber = 0,和随后的尝试将会增加数量。

    定义类
    BarrierTaskContext→TaskContext
  48. defstageId():Int

    阶段,这个任务的ID。

    阶段,这个任务的ID。

    定义类
    BarrierTaskContext→TaskContext
  49. 最后def同步(T0](arg0:⇒T0):T0
    定义类
    AnyRef
  50. deftaskAttemptId():长

    一个ID,这个任务是独一无二的尝试(在同一个SparkContext,没有两个任务尝试尝试将共享相同的ID)。

    一个ID,这个任务是独一无二的尝试(在同一个SparkContext,没有两个任务尝试尝试将共享相同的ID)。这是大致相当于Hadoop TaskAttemptID。

    定义类
    BarrierTaskContext→TaskContext
  51. deftaskMetrics():TaskMetrics
    定义类
    BarrierTaskContext→TaskContext
  52. deftoString():字符串
    定义类
    AnyRef→任何
  53. 最后def等待():单位
    定义类
    AnyRef
    注释
    @throws (…)
  54. 最后def等待(arg0:长,__arg1:Int):单位
    定义类
    AnyRef
    注释
    @throws (…)
  55. 最后def等待(arg0:长):单位
    定义类
    AnyRef
    注释
    @throws (…) @native ()

继承自日志记录

继承自TaskContext

继承自可序列化的

继承自AnyRef

继承自任何

未分组的