Python pyspark SparkConf用法及代碼示例

本文簡要介紹 pyspark.SparkConf 的用法。

用法: class pyspark.SparkConf(loadDefaults=True, _jvm=None, _jconf=None)

Spark 應用程序的配置。用於將各種 Spark 參數設置為鍵值對。

大多數時候，您會使用 SparkConf() 創建 SparkConf 對象，該對象也會從 spark.* Java 係統屬性加載值。在這種情況下，直接在 SparkConf 對象上設置的任何參數都優先於係統屬性。

對於單元測試，您還可以調用SparkConf(false) 跳過加載外部設置並獲得相同的配置，無論係統屬性是什麽。

此類中的所有 setter 方法都支持鏈接。例如，您可以編寫 conf.setMaster("local").setAppName("My app") 。

參數：

loadDefaults：bool: 是否從 Java 係統屬性中加載值(默認為 True)
_jvm：類：py4j.java_gateway.JVMView: 用於將句柄傳遞給 Java VM 的內部參數；不需要用戶設置
_jconf：類：py4j.java_gateway.JavaObject: 可選擇傳入現有的 SparkConf 句柄以使用其參數

注意：

一旦將SparkConf 對象傳遞給 Spark，它就會被克隆並且用戶不能再修改。

例子：

>>> from pyspark.conf import SparkConf
>>> from pyspark.context import SparkContext
>>> conf = SparkConf()
>>> conf.setMaster("local").setAppName("My app")
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.master")
'local'
>>> conf.get("spark.app.name")
'My app'
>>> sc = SparkContext(conf=conf)
>>> sc.master
'local'
>>> sc.appName
'My app'
>>> sc.sparkHome is None
True

>>> conf = SparkConf(loadDefaults=False)
>>> conf.setSparkHome("/path")
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.home")
'/path'
>>> conf.setExecutorEnv("VAR1", "value1")
<pyspark.conf.SparkConf object at ...>
>>> conf.setExecutorEnv(pairs = [("VAR3", "value3"), ("VAR4", "value4")])
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.executorEnv.VAR1")
'value1'
>>> print(conf.toDebugString())
spark.executorEnv.VAR1=value1
spark.executorEnv.VAR3=value3
spark.executorEnv.VAR4=value4
spark.home=/path
>>> for p in sorted(conf.getAll(), key=lambda p: p[0]):
...     print(p)
('spark.executorEnv.VAR1', 'value1')
('spark.executorEnv.VAR3', 'value3')
('spark.executorEnv.VAR4', 'value4')
('spark.home', '/path')
>>> conf._jconf.setExecutorEnv("VAR5", "value5")
JavaObject id...
>>> print(conf.toDebugString())
spark.executorEnv.VAR1=value1
spark.executorEnv.VAR3=value3
spark.executorEnv.VAR4=value4
spark.executorEnv.VAR5=value5
spark.home=/path

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.SparkConf。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。