Python pyspark filter用法及代碼示例

本文簡要介紹 pyspark.sql.functions.filter 的用法。

用法: pyspark.sql.functions.filter(col, f)

返回在給定數組中包含謂詞的元素數組。

版本 3.1.0 中的新函數。

參數：

col： Column 或 str

列或表達式的名稱

f：函數

返回布爾表達式的函數。可以采取以下形式之一：

一元(x: Column) -> Column: ...
二進製 (x: Column, i: Column) -> Column... ，其中第二個參數是
元素的從 0 開始的索引。

並且可以使用 Column 的方法，pyspark.sql.functions和Scala中定義的函數UserDefinedFunctions。不支持 Python UserDefinedFunctions (SPARK-27052)。

Column

例子：

>>> df = spark.createDataFrame(
...     [(1, ["2018-09-20",  "2019-02-03", "2019-07-01", "2020-06-01"])],
...     ("key", "values")
... )
>>> def after_second_quarter(x):
...     return month(to_date(x)) > 6
>>> df.select(
...     filter("values", after_second_quarter).alias("after_second_quarter")
... ).show(truncate=False)
+------------------------+
|after_second_quarter    |
+------------------------+
|[2018-09-20, 2019-07-01]|
+------------------------+

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.functions.filter。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。

用法:

參數：

返回：

例子：