本文整理汇总了Scala中org.apache.spark.scheduler.SparkListenerTaskEnd类的典型用法代码示例。如果您正苦于以下问题：Scala SparkListenerTaskEnd类的具体用法？Scala SparkListenerTaskEnd怎么用？Scala SparkListenerTaskEnd使用的例子？那么恭喜您, 这里精选的类代码示例或许可以为您提供帮助。
在下文中一共展示了SparkListenerTaskEnd类的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Scala代码示例。
示例1: MetricsListener
//设置package包名称以及导入依赖的类
package com.groupon.dse.spark.listeners
import org.apache.spark.groupon.metrics.UserMetricsSystem
import org.apache.spark.scheduler.{SparkListener, SparkListenerExecutorRemoved, SparkListenerStageCompleted, SparkListenerTaskEnd}
class MetricsListener extends SparkListener {
private lazy val executorRemovedMeter = UserMetricsSystem.meter("baryon.executorRemoved.rate")
private lazy val failedStagesMeter = UserMetricsSystem.meter("baryon.failedStages.rate")
private lazy val failedTasksMeter = UserMetricsSystem.meter("baryon.failedTasks.rate")
override def onExecutorRemoved(executorRemoved: SparkListenerExecutorRemoved): Unit = {
executorRemovedMeter.mark()
}
override def onStageCompleted(stageCompleted: SparkListenerStageCompleted): Unit = {
if (stageCompleted.stageInfo.failureReason.isDefined) {
failedStagesMeter.mark()
}
}
override def onTaskEnd(taskEnd: SparkListenerTaskEnd): Unit = {
if (!taskEnd.taskInfo.successful) {
failedTasksMeter.mark()
}
}
}