Python pyspark DataFrame用法及代码示例

本文简要介绍 pyspark.sql.DataFrame 的用法。

用法: class pyspark.sql.DataFrame(jdf, sql_ctx)

分组到命名列的分布式数据集合。

DataFrame 相当于 Spark SQL 中的关系表，可以使用 SparkSession 中的各种函数创建：

people = spark.read.parquet("...")

创建后，可以使用 DataFrame 、 Column 中定义的各种 domain-specific-language (DSL) 函数对其进行操作。

要从 DataFrame 选择列，请使用 apply 方法：

ageCol = people.age

一个更具体的例子：

# To create DataFrame using SparkSession
people = spark.read.parquet("...")
department = spark.read.parquet("...")

people.filter(people.age > 30).join(department, people.deptId == department.id) \
  .groupBy(department.name, "gender").agg({"salary": "avg", "age": "max"})

版本 1.3.0 中的新函数。

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.DataFrame。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。