Python pyspark OneHotEncoder用法及代碼示例

本文簡要介紹 pyspark.ml.feature.OneHotEncoder 的用法。

用法: class pyspark.ml.feature.OneHotEncoder(*, inputCols=None, outputCols=None, handleInvalid='error', dropLast=True, inputCol=None, outputCol=None)

one-hot 編碼器，將一列類別索引映射到一列二進製向量，每行最多有一個 one-value 指示輸入類別索引。例如，對於 5 個類別，輸入值 2.0 將映射到輸出向量 [0.0, 0.0, 1.0, 0.0] 。默認情況下不包括最後一個類別(可通過 dropLast 配置)，因為它使向量條目總和為 1，因此呈線性相關。因此輸入值 4.0 映射到 [0.0, 0.0, 0.0, 0.0] 。

當handleInvalid配置為‘keep’時，將添加指示無效值的額外“category”作為最後一個類別。因此，當 dropLast 為 true 時，無效值將被編碼為 all-zeros 向量。

2.3.0 版中的新函數。

注意：

這與 scikit-learn 的 OneHotEncoder 不同，後者保留所有類別。輸出向量是稀疏的。

當使用 inputCols 和 outputCols 參數對 multi-column 進行編碼時，輸入/輸出列成對出現，按數組中的順序指定，並且每對都被獨立處理。

例子：

>>> from pyspark.ml.linalg import Vectors
>>> df = spark.createDataFrame([(0.0,), (1.0,), (2.0,)], ["input"])
>>> ohe = OneHotEncoder()
>>> ohe.setInputCols(["input"])
OneHotEncoder...
>>> ohe.setOutputCols(["output"])
OneHotEncoder...
>>> model = ohe.fit(df)
>>> model.setOutputCols(["output"])
OneHotEncoderModel...
>>> model.getHandleInvalid()
'error'
>>> model.transform(df).head().output
SparseVector(2, {0: 1.0})
>>> single_col_ohe = OneHotEncoder(inputCol="input", outputCol="output")
>>> single_col_model = single_col_ohe.fit(df)
>>> single_col_model.transform(df).head().output
SparseVector(2, {0: 1.0})
>>> ohePath = temp_path + "/ohe"
>>> ohe.save(ohePath)
>>> loadedOHE = OneHotEncoder.load(ohePath)
>>> loadedOHE.getInputCols() == ohe.getInputCols()
True
>>> modelPath = temp_path + "/ohe-model"
>>> model.save(modelPath)
>>> loadedModel = OneHotEncoderModel.load(modelPath)
>>> loadedModel.categorySizes == model.categorySizes
True
>>> loadedModel.transform(df).take(1) == model.transform(df).take(1)
True

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.ml.feature.OneHotEncoder。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。