本文簡要介紹
pyspark.SparkConf
的用法。用法:
class pyspark.SparkConf(loadDefaults=True, _jvm=None, _jconf=None)
Spark 應用程序的配置。用於將各種 Spark 參數設置為鍵值對。
大多數時候,您會使用
SparkConf()
創建 SparkConf 對象,該對象也會從spark.*
Java 係統屬性加載值。在這種情況下,直接在SparkConf
對象上設置的任何參數都優先於係統屬性。對於單元測試,您還可以調用
SparkConf(false)
跳過加載外部設置並獲得相同的配置,無論係統屬性是什麽。此類中的所有 setter 方法都支持鏈接。例如,您可以編寫
conf.setMaster("local").setAppName("My app")
。- loadDefaults:bool
是否從 Java 係統屬性中加載值(默認為 True)
- _jvm:類:
py4j.java_gateway.JVMView
用於將句柄傳遞給 Java VM 的內部參數;不需要用戶設置
- _jconf:類:
py4j.java_gateway.JavaObject
可選擇傳入現有的 SparkConf 句柄以使用其參數
參數:
注意:
一旦將SparkConf 對象傳遞給 Spark,它就會被克隆並且用戶不能再修改。
例子:
>>> from pyspark.conf import SparkConf >>> from pyspark.context import SparkContext >>> conf = SparkConf() >>> conf.setMaster("local").setAppName("My app") <pyspark.conf.SparkConf object at ...> >>> conf.get("spark.master") 'local' >>> conf.get("spark.app.name") 'My app' >>> sc = SparkContext(conf=conf) >>> sc.master 'local' >>> sc.appName 'My app' >>> sc.sparkHome is None True
>>> conf = SparkConf(loadDefaults=False) >>> conf.setSparkHome("/path") <pyspark.conf.SparkConf object at ...> >>> conf.get("spark.home") '/path' >>> conf.setExecutorEnv("VAR1", "value1") <pyspark.conf.SparkConf object at ...> >>> conf.setExecutorEnv(pairs = [("VAR3", "value3"), ("VAR4", "value4")]) <pyspark.conf.SparkConf object at ...> >>> conf.get("spark.executorEnv.VAR1") 'value1' >>> print(conf.toDebugString()) spark.executorEnv.VAR1=value1 spark.executorEnv.VAR3=value3 spark.executorEnv.VAR4=value4 spark.home=/path >>> for p in sorted(conf.getAll(), key=lambda p: p[0]): ... print(p) ('spark.executorEnv.VAR1', 'value1') ('spark.executorEnv.VAR3', 'value3') ('spark.executorEnv.VAR4', 'value4') ('spark.home', '/path') >>> conf._jconf.setExecutorEnv("VAR5", "value5") JavaObject id... >>> print(conf.toDebugString()) spark.executorEnv.VAR1=value1 spark.executorEnv.VAR3=value3 spark.executorEnv.VAR4=value4 spark.executorEnv.VAR5=value5 spark.home=/path
相關用法
- Python pyspark SparkContext.addFile用法及代碼示例
- Python pyspark SparkContext.union用法及代碼示例
- Python pyspark SparkContext.runJob用法及代碼示例
- Python pyspark SparkContext.parallelize用法及代碼示例
- Python pyspark SparkContext用法及代碼示例
- Python pyspark SparkContext.range用法及代碼示例
- Python pyspark SparkContext.setJobGroup用法及代碼示例
- Python pyspark SparkContext.pickleFile用法及代碼示例
- Python pyspark SparkContext.applicationId用法及代碼示例
- Python pyspark SparkContext.wholeTextFiles用法及代碼示例
- Python pyspark SparkContext.textFile用法及代碼示例
- Python pyspark SparkSession.createDataFrame用法及代碼示例
- Python pyspark SparkSession.table用法及代碼示例
- Python pyspark SparkSession用法及代碼示例
- Python pyspark SparkSession.builder.config用法及代碼示例
- Python pyspark SparkSession.getActiveSession用法及代碼示例
- Python pyspark SparkSession.range用法及代碼示例
- Python pyspark SparkSession.sql用法及代碼示例
- Python pyspark SparkSession.builder.getOrCreate用法及代碼示例
- Python pyspark SparseVector.parse用法及代碼示例
- Python pyspark SparseVector.dot用法及代碼示例
- Python pyspark SparseVector.squared_distance用法及代碼示例
- Python pyspark SparseVector.norm用法及代碼示例
- Python pyspark Series.asof用法及代碼示例
- Python pyspark Series.to_frame用法及代碼示例
注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.SparkConf。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。