Python pyspark SQLTransformer用法及代码示例

本文简要介绍 pyspark.ml.feature.SQLTransformer 的用法。

用法: class pyspark.ml.feature.SQLTransformer(*, statement=None)

实现由 SQL 语句定义的转换。目前我们只支持像 SELECT … FROM __THIS__ 这样的 SQL 语法，其中 __THIS__ 表示输入数据集的基础表。

版本 1.6.0 中的新函数。

例子：

>>> df = spark.createDataFrame([(0, 1.0, 3.0), (2, 2.0, 5.0)], ["id", "v1", "v2"])
>>> sqlTrans = SQLTransformer(
...     statement="SELECT *, (v1 + v2) AS v3, (v1 * v2) AS v4 FROM __THIS__")
>>> sqlTrans.transform(df).head()
Row(id=0, v1=1.0, v2=3.0, v3=4.0, v4=3.0)
>>> sqlTransformerPath = temp_path + "/sql-transformer"
>>> sqlTrans.save(sqlTransformerPath)
>>> loadedSqlTrans = SQLTransformer.load(sqlTransformerPath)
>>> loadedSqlTrans.getStatement() == sqlTrans.getStatement()
True
>>> loadedSqlTrans.transform(df).take(1) == sqlTrans.transform(df).take(1)
True

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.ml.feature.SQLTransformer。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。