本文简要介绍
pyspark.pandas.Series.spark.transform
的用法。用法:
spark.transform(func: Callable[[pyspark.sql.column.Column], pyspark.sql.column.Column]) → IndexOpsLike
应用一个接受并返回 Spark 列的函数。它允许本地应用 Spark 函数和列 API,其中 Spark 列在 Series 或 Index 中内部使用。 Spark 列的输出长度应与输入的长度相同。
注意
它要求具有相同的输入和输出长度;因此,聚合 Spark 函数(例如 count)不起作用。
- func:函数
用于使用 Spark 列转换数据的函数。
- 系列或索引
- ValueError:如果函数的输出不是 Spark 列。
参数:
返回:
抛出:
例子:
>>> from pyspark.sql.functions import log >>> df = ps.DataFrame({"a": [1, 2, 3], "b": [4, 5, 6]}, columns=["a", "b"]) >>> df a b 0 1 4 1 2 5 2 3 6
>>> df.a.spark.transform(lambda c: log(c)) 0 0.000000 1 0.693147 2 1.098612 Name: a, dtype: float64
>>> df.index.spark.transform(lambda c: c + 10) Int64Index([10, 11, 12], dtype='int64')
>>> df.a.spark.transform(lambda c: c + df.b.spark.column) 0 5 1 7 2 9 Name: a, dtype: int64
相关用法
- Python pyspark Series.spark.apply用法及代码示例
- Python pyspark Series.str.join用法及代码示例
- Python pyspark Series.str.startswith用法及代码示例
- Python pyspark Series.sub用法及代码示例
- Python pyspark Series.sum用法及代码示例
- Python pyspark Series.str.slice_replace用法及代码示例
- Python pyspark Series.str.rjust用法及代码示例
- Python pyspark Series.sem用法及代码示例
- Python pyspark Series.sort_values用法及代码示例
- Python pyspark Series.str.lstrip用法及代码示例
- Python pyspark Series.squeeze用法及代码示例
- Python pyspark Series.str.len用法及代码示例
- Python pyspark Series.str.slice用法及代码示例
- Python pyspark Series.str.isnumeric用法及代码示例
- Python pyspark Series.str.endswith用法及代码示例
- Python pyspark Series.str.swapcase用法及代码示例
- Python pyspark Series.str.isdecimal用法及代码示例
- Python pyspark Series.str.rstrip用法及代码示例
- Python pyspark Series.str.istitle用法及代码示例
- Python pyspark Series.skew用法及代码示例
- Python pyspark Series.str.match用法及代码示例
- Python pyspark Series.str.rindex用法及代码示例
- Python pyspark Series.swaplevel用法及代码示例
- Python pyspark Series.str.rsplit用法及代码示例
- Python pyspark Series.std用法及代码示例
注:本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.pandas.Series.spark.transform。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。