當前位置: 首頁>>編程示例 >>用法及示例精選 >>正文

Python pyspark Broadcast用法及代碼示例

本文簡要介紹 pyspark.Broadcast 的用法。

用法:

class pyspark.Broadcast(sc=None, value=None, pickle_registry=None, path=None, sock_file=None)

使用 SparkContext.broadcast() 創建的廣播變量。通過 value 訪問其值。

例子：

>>> from pyspark.context import SparkContext
>>> sc = SparkContext('local', 'test')
>>> b = sc.broadcast([1, 2, 3, 4, 5])
>>> b.value
[1, 2, 3, 4, 5]
>>> sc.parallelize([0, 0]).flatMap(lambda x: b.value).collect()
[1, 2, 3, 4, 5, 1, 2, 3, 4, 5]
>>> b.unpersist()
>>> large_broadcast = sc.broadcast(range(10000))

相關用法


注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.Broadcast。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。