Python PySpark DataFrame withColumn方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([["Alex", 25], ["Bob", 30], ["Cathy", 50]], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 25|
|  Bob| 30|
|Cathy| 50|
+-----+---+

根据PySpark中的原始列值更新列值

要更新现有列，请提供其列标签作为第一个参数：

df.withColumn("age", 2 * df.age).show()



+-----+---+
| name|age|
+-----+---+
| Alex| 50|
|  Bob| 60|
|Cathy|100|
+-----+---+

请注意，您必须传入 Column 对象作为第二个参数，因此您不能简单地使用列表作为新列值。

向 PySpark DataFrame 添加新列

要添加带有 0 的新列 AGEE：

import pyspark.sql.functions as F
df.withColumn("AGEE", F.lit(0)).show()



+-----+---+----+
| name|age|AGEE|
+-----+---+----+
| Alex| 25|   0|
|  Bob| 30|   0|
|Cathy| 50|   0|
+-----+---+----+

这里， F.lit(0) 返回一个包含0 的Column 对象。请注意，由于列标签不区分大小写，因此如果您传入 "AGE" 作为第一个参数，最终会覆盖 age 列。