當前位置: 首頁>>代碼示例 >>用法及示例精選 >>正文


Python pyspark RDD.pipe用法及代碼示例


本文簡要介紹 pyspark.RDD.pipe 的用法。

用法:

RDD.pipe(command, env=None, checkCode=False)

將由管道元素創建的 RDD 返回到分叉的外部進程。

參數

commandstr

命令運行。

env字典,可選

要設置的環境變量。

checkCode布爾型,可選

是否檢查 shell 命令的返回值。

例子

>>> sc.parallelize(['1', '2', '', '3']).pipe('cat').collect()
['1', '2', '', '3']

相關用法


注:本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.RDD.pipe。非經特殊聲明,原始代碼版權歸原作者所有,本譯文未經允許或授權,請勿轉載或複製。