本文简要介绍
pyspark.sql.functions.flatten
的用法。用法:
pyspark.sql.functions.flatten(col)
集合函数:从数组数组创建单个数组。如果嵌套数组的结构深于两层,则仅删除一层嵌套。
2.4.0 版中的新函数。
- col:
Column
或 str 列或表达式的名称
- col:
参数:
例子:
>>> df = spark.createDataFrame([([[1, 2, 3], [4, 5], [6]],), ([None, [4, 5]],)], ['data']) >>> df.select(flatten(df.data).alias('r')).collect() [Row(r=[1, 2, 3, 4, 5, 6]), Row(r=None)]
相关用法
- Python pyspark forall用法及代码示例
- Python pyspark filter用法及代码示例
- Python pyspark from_csv用法及代码示例
- Python pyspark from_json用法及代码示例
- Python pyspark factorial用法及代码示例
- Python pyspark from_unixtime用法及代码示例
- Python pyspark format_string用法及代码示例
- Python pyspark from_utc_timestamp用法及代码示例
- Python pyspark from_avro用法及代码示例
- Python pyspark create_map用法及代码示例
- Python pyspark date_add用法及代码示例
- Python pyspark DataFrame.to_latex用法及代码示例
- Python pyspark DataStreamReader.schema用法及代码示例
- Python pyspark MultiIndex.size用法及代码示例
- Python pyspark arrays_overlap用法及代码示例
- Python pyspark Series.asof用法及代码示例
- Python pyspark DataFrame.align用法及代码示例
- Python pyspark Index.is_monotonic_decreasing用法及代码示例
- Python pyspark IsotonicRegression用法及代码示例
- Python pyspark DataFrame.plot.bar用法及代码示例
- Python pyspark DataFrame.to_delta用法及代码示例
- Python pyspark element_at用法及代码示例
- Python pyspark explode用法及代码示例
- Python pyspark MultiIndex.hasnans用法及代码示例
- Python pyspark Series.to_frame用法及代码示例
注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.flatten。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。