本文整理汇总了Python中pyspark.context.SparkContext.setLogLevel方法的典型用法代码示例。如果您正苦于以下问题：Python SparkContext.setLogLevel方法的具体用法？Python SparkContext.setLogLevel怎么用？Python SparkContext.setLogLevel使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.context.SparkContext的用法示例。
在下文中一共展示了SparkContext.setLogLevel方法的2个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: SparkContext
# 需要导入模块: from pyspark.context import SparkContext [as 别名]
# 或者: from pyspark.context.SparkContext import setLogLevel [as 别名]
import py4j
import pyspark
from pyspark.context import SparkContext
sc = SparkContext()
# Control our logLevel. This overrides any user-defined log settings.
# Valid log levels include: ALL, DEBUG, ERROR, FATAL, INFO, OFF, TRACE, WARN
sc.setLogLevel("FATAL")
text_file = sc.textFile(spark_home + "/README.md")
word_counts = text_file \
.flatMap(lambda line: line.split()) \
.map(lambda word: (word, 1)) \
.reduceByKey(lambda a, b: a + b)
print word_counts.collect()
示例2: len
# 需要导入模块: from pyspark.context import SparkContext [as 别名]
# 或者: from pyspark.context.SparkContext import setLogLevel [as 别名]
shifts = running_word_prices.transform(to_shifts)
# Print the results
shifts.foreachRDD(print_shifts)
if __name__ == "__main__":
if len(sys.argv) >= 2 and sys.argv[1] == "test":
# Run the tests
del sys.argv[1]
conf = SparkConf().set("spark.default.parallelism", 1)
sc = SparkContext(appName='unit_test', conf=conf)
sc.setLogLevel("WARN")
sc.setCheckpointDir("/tmp")
unittest.main()
sc.stop()
else:
# Run the main()
sc = SparkContext(appName="BoostWords")
sc.setLogLevel("WARN")
ssc = StreamingContext(sc, 5)