Python pyspark DataFrame.inputFiles用法及代碼示例

本文簡要介紹 pyspark.sql.DataFrame.inputFiles 的用法。

用法: DataFrame.inputFiles()

返回組成此 DataFrame 的文件的盡力快照。此方法隻是向每個組成部分BaseRelation詢問其各自的文件，並取所有結果的並集。根據源關係，這可能無法找到所有輸入文件。重複項被刪除。

版本 3.1.0 中的新函數。

>>> df = spark.read.load("examples/src/main/resources/people.json", format="json")
>>> len(df.inputFiles())
1

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.DataFrame.inputFiles。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。