Python pyspark SparkSession.builder.getOrCreate用法及代码示例

本文简要介绍 pyspark.sql.SparkSession.builder.getOrCreate 的用法。

用法: builder.getOrCreate()

获取现有的SparkSession，或者，如果没有现有的，则根据此构建器中设置的选项创建一个新的。

2.0.0 版中的新函数。

例子：

该方法首先检查是否存在有效的全局默认 SparkSession，如果是，则返回该会话。如果不存在有效的全局默认值SparkSession，该方法将创建一个新的SparkSession，并将新创建的SparkSession指定为全局默认值。

>>> s1 = SparkSession.builder.config("k1", "v1").getOrCreate()
>>> s1.conf.get("k1") == "v1"
True

如果返回现有的 SparkSession，则此构建器中指定的配置选项将应用于现有的 SparkSession。

>>> s2 = SparkSession.builder.config("k2", "v2").getOrCreate()
>>> s1.conf.get("k1") == s2.conf.get("k1")
True
>>> s1.conf.get("k2") == s2.conf.get("k2")
True

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.SparkSession.builder.getOrCreate。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。