Python pyspark SparkConf用法及代码示例

本文简要介绍 pyspark.SparkConf 的用法。

用法: class pyspark.SparkConf(loadDefaults=True, _jvm=None, _jconf=None)

Spark 应用程序的配置。用于将各种 Spark 参数设置为键值对。

大多数时候，您会使用 SparkConf() 创建 SparkConf 对象，该对象也会从 spark.* Java 系统属性加载值。在这种情况下，直接在 SparkConf 对象上设置的任何参数都优先于系统属性。

对于单元测试，您还可以调用SparkConf(false) 跳过加载外部设置并获得相同的配置，无论系统属性是什么。

此类中的所有 setter 方法都支持链接。例如，您可以编写 conf.setMaster("local").setAppName("My app") 。

参数：

loadDefaults：bool: 是否从 Java 系统属性中加载值(默认为 True)
_jvm：类：py4j.java_gateway.JVMView: 用于将句柄传递给 Java VM 的内部参数；不需要用户设置
_jconf：类：py4j.java_gateway.JavaObject: 可选择传入现有的 SparkConf 句柄以使用其参数

注意：

一旦将SparkConf 对象传递给 Spark，它就会被克隆并且用户不能再修改。

例子：

>>> from pyspark.conf import SparkConf
>>> from pyspark.context import SparkContext
>>> conf = SparkConf()
>>> conf.setMaster("local").setAppName("My app")
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.master")
'local'
>>> conf.get("spark.app.name")
'My app'
>>> sc = SparkContext(conf=conf)
>>> sc.master
'local'
>>> sc.appName
'My app'
>>> sc.sparkHome is None
True

>>> conf = SparkConf(loadDefaults=False)
>>> conf.setSparkHome("/path")
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.home")
'/path'
>>> conf.setExecutorEnv("VAR1", "value1")
<pyspark.conf.SparkConf object at ...>
>>> conf.setExecutorEnv(pairs = [("VAR3", "value3"), ("VAR4", "value4")])
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.executorEnv.VAR1")
'value1'
>>> print(conf.toDebugString())
spark.executorEnv.VAR1=value1
spark.executorEnv.VAR3=value3
spark.executorEnv.VAR4=value4
spark.home=/path
>>> for p in sorted(conf.getAll(), key=lambda p: p[0]):
...     print(p)
('spark.executorEnv.VAR1', 'value1')
('spark.executorEnv.VAR3', 'value3')
('spark.executorEnv.VAR4', 'value4')
('spark.home', '/path')
>>> conf._jconf.setExecutorEnv("VAR5", "value5")
JavaObject id...
>>> print(conf.toDebugString())
spark.executorEnv.VAR1=value1
spark.executorEnv.VAR3=value3
spark.executorEnv.VAR4=value4
spark.executorEnv.VAR5=value5
spark.home=/path

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.SparkConf。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。