Python pyspark DataFrame.inputFiles用法及代码示例

本文简要介绍 pyspark.sql.DataFrame.inputFiles 的用法。

用法: DataFrame.inputFiles()

返回组成此 DataFrame 的文件的尽力快照。此方法只是向每个组成部分BaseRelation询问其各自的文件，并取所有结果的并集。根据源关系，这可能无法找到所有输入文件。重复项被删除。

版本 3.1.0 中的新函数。

>>> df = spark.read.load("examples/src/main/resources/people.json", format="json")
>>> len(df.inputFiles())
1

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrame.inputFiles。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。