Python PySpark Column cast方法用法及代码示例

例子

考虑以下PySpark DataFrame：

df = spark.createDataFrame([("Alex", 20), ("Bob", 30), ("Cathy", 40)], ["name", "age"])
df.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

将 PySpark 列类型转换为字符串

要将 DataFrame 的 age 列的类型从数字转换为 string ：

df_new = df.withColumn("age", df["age"].cast("string"))
df_new.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

同样，我们可以像这样传入 StringType() 方法：

from pyspark.sql.types import StringType
df_new = df.withColumn("age", df["age"].cast(StringType()))
df_new.show()



+-----+---+
| name|age|
+-----+---+
| Alex| 20|
|  Bob| 30|
|Cathy| 40|
+-----+---+

为了简单起见，我建议传递 "string" 而不是 StringType()。

要确认列类型已转换为字符串，请使用 printSchema() 方法：

df_new.printSchema()



root
 |-- name: string (nullable = true)
 |-- age: string (nullable = true)

将 PySpark 列类型转换为整数

要将列类型转换为整数，请使用 cast("int") ：

df_new = df.withColumn("age", df["age"].cast("int"))
df_new.printSchema()



root
 |-- name: string (nullable = true)
 |-- age: integer (nullable = true)

将 PySpark 列类型转换为 float

要将列类型转换为浮点型，请使用 cast("float") ：

df_new = df.withColumn("age", df["age"].cast("float"))
df_new.printSchema()



root
 |-- name: string (nullable = true)
 |-- age: float (nullable = true)

将 PySpark 列类型转换为日期

要将 PySpark 列类型转换为日期，请使用 to_date(~) 方法而不是 cast(~) 。