當前位置: 首頁>>編程示例 >>用法及示例精選 >>正文


Python pyspark SparkConf用法及代碼示例

本文簡要介紹 pyspark.SparkConf 的用法。

用法:

class pyspark.SparkConf(loadDefaults=True, _jvm=None, _jconf=None)

Spark 應用程序的配置。用於將各種 Spark 參數設置為鍵值對。

大多數時候,您會使用 SparkConf() 創建 SparkConf 對象,該對象也會從 spark.* Java 係統屬性加載值。在這種情況下,直接在 SparkConf 對象上設置的任何參數都優先於係統屬性。

對於單元測試,您還可以調用SparkConf(false) 跳過加載外部設置並獲得相同的配置,無論係統屬性是什麽。

此類中的所有 setter 方法都支持鏈接。例如,您可以編寫 conf.setMaster("local").setAppName("My app")

參數

loadDefaultsbool

是否從 Java 係統屬性中加載值(默認為 True)

_jvm類:py4j.java_gateway.JVMView

用於將句柄傳遞給 Java VM 的內部參數;不需要用戶設置

_jconf類:py4j.java_gateway.JavaObject

可選擇傳入現有的 SparkConf 句柄以使用其參數

注意

一旦將SparkConf 對象傳遞給 Spark,它就會被克隆並且用戶不能再修改。

例子

>>> from pyspark.conf import SparkConf
>>> from pyspark.context import SparkContext
>>> conf = SparkConf()
>>> conf.setMaster("local").setAppName("My app")
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.master")
'local'
>>> conf.get("spark.app.name")
'My app'
>>> sc = SparkContext(conf=conf)
>>> sc.master
'local'
>>> sc.appName
'My app'
>>> sc.sparkHome is None
True
>>> conf = SparkConf(loadDefaults=False)
>>> conf.setSparkHome("/path")
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.home")
'/path'
>>> conf.setExecutorEnv("VAR1", "value1")
<pyspark.conf.SparkConf object at ...>
>>> conf.setExecutorEnv(pairs = [("VAR3", "value3"), ("VAR4", "value4")])
<pyspark.conf.SparkConf object at ...>
>>> conf.get("spark.executorEnv.VAR1")
'value1'
>>> print(conf.toDebugString())
spark.executorEnv.VAR1=value1
spark.executorEnv.VAR3=value3
spark.executorEnv.VAR4=value4
spark.home=/path
>>> for p in sorted(conf.getAll(), key=lambda p: p[0]):
...     print(p)
('spark.executorEnv.VAR1', 'value1')
('spark.executorEnv.VAR3', 'value3')
('spark.executorEnv.VAR4', 'value4')
('spark.home', '/path')
>>> conf._jconf.setExecutorEnv("VAR5", "value5")
JavaObject id...
>>> print(conf.toDebugString())
spark.executorEnv.VAR1=value1
spark.executorEnv.VAR3=value3
spark.executorEnv.VAR4=value4
spark.executorEnv.VAR5=value5
spark.home=/path

相關用法


注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.SparkConf。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。