Python pyspark SQLTransformer用法及代碼示例

本文簡要介紹 pyspark.ml.feature.SQLTransformer 的用法。

用法: class pyspark.ml.feature.SQLTransformer(*, statement=None)

實現由 SQL 語句定義的轉換。目前我們隻支持像 SELECT … FROM __THIS__ 這樣的 SQL 語法，其中 __THIS__ 表示輸入數據集的基礎表。

版本 1.6.0 中的新函數。

例子：

>>> df = spark.createDataFrame([(0, 1.0, 3.0), (2, 2.0, 5.0)], ["id", "v1", "v2"])
>>> sqlTrans = SQLTransformer(
...     statement="SELECT *, (v1 + v2) AS v3, (v1 * v2) AS v4 FROM __THIS__")
>>> sqlTrans.transform(df).head()
Row(id=0, v1=1.0, v2=3.0, v3=4.0, v4=3.0)
>>> sqlTransformerPath = temp_path + "/sql-transformer"
>>> sqlTrans.save(sqlTransformerPath)
>>> loadedSqlTrans = SQLTransformer.load(sqlTransformerPath)
>>> loadedSqlTrans.getStatement() == sqlTrans.getStatement()
True
>>> loadedSqlTrans.transform(df).take(1) == sqlTrans.transform(df).take(1)
True

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.ml.feature.SQLTransformer。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。