Python pyspark broadcast用法及代碼示例

本文簡要介紹 pyspark.pandas.broadcast 的用法。

用法: pyspark.pandas.broadcast(obj: pyspark.pandas.frame.DataFrame) → pyspark.pandas.frame.DataFrame

將 DataFrame 標記為足夠小，可以在廣播連接中使用。

自 3.2.0 版起已棄用：采用DataFrame.spark.hint反而。

參數：

obj：DataFrame

ret：DataFrame 帶廣播提示。

例子：

>>> df1 = ps.DataFrame({'lkey': ['foo', 'bar', 'baz', 'foo'],
...                     'value': [1, 2, 3, 5]},
...                    columns=['lkey', 'value']).set_index('lkey')
>>> df2 = ps.DataFrame({'rkey': ['foo', 'bar', 'baz', 'foo'],
...                     'value': [5, 6, 7, 8]},
...                    columns=['rkey', 'value']).set_index('rkey')
>>> merged = df1.merge(ps.broadcast(df2), left_index=True, right_index=True)
>>> merged.spark.explain()  
== Physical Plan ==
...
...BroadcastHashJoin...
...

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.pandas.broadcast。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：