类ChiSqSelector声明
class pyspark.mllib.feature.ChiSqSelector(numTopFeatures=50, selectorType='numTopFeatures', percentile=0.1, fpr=0.05)
类ChiSqSelector用于创建一个卡方(ChiSquared)特征选择器。选择器支持不同的选择方法：numTopFeatures，percentile，fpr。
- numTopFeatures：根据卡方检验选择固定数量的topK(K=numTopFeatures)特征。
- percentile：百分位数跟numTopFeatures类似，但按比例选择所有特征的一部分，而不是固定数量。
- fpr：选择p-value值低于阈值的所有特征，从而控制选择的false positive率。
- 默认情况下，选择方法是numTopFeatures，默认的topK特征数量设置为50。
示例代码
>>> data = sc.parallelize([
... LabeledPoint(0.0, SparseVector(3, {0: 8.0, 1: 7.0})),
... LabeledPoint(1.0, SparseVector(3, {1: 9.0, 2: 6.0})),
... LabeledPoint(1.0, [0.0, 9.0, 8.0]),
... LabeledPoint(2.0, [7.0, 9.0, 5.0]),
... LabeledPoint(2.0, [8.0, 7.0, 3.0])
... ])
>>> model = ChiSqSelector(numTopFeatures=1).fit(data)
>>> model.transform(SparseVector(3, {1: 9.0, 2: 6.0}))
SparseVector(1, {})
>>> model.transform(DenseVector([7.0, 9.0, 5.0]))
DenseVector([7.0])
>>> model = ChiSqSelector(selectorType="fpr", fpr=0.2).fit(data)
>>> model.transform(SparseVector(3, {1: 9.0, 2: 6.0}))
SparseVector(1, {})
>>> model.transform(DenseVector([7.0, 9.0, 5.0]))
DenseVector([7.0])
>>> model = ChiSqSelector(selectorType="percentile", percentile=0.34).fit(data)
>>> model.transform(DenseVector([7.0, 9.0, 5.0]))
DenseVector([7.0])
ChiSqSelector的相关函数
fit(data)
返回：一个ChiSquared特征选择器。
参数：data – 包含带有类别特征的标记数据集的RDD [LabeledPoint]。实值特征将被视为每个不同值的类别。使用此功能之前先功做特征离散化（feature discretizer）。
New in version 1.4.0.
setFpr(fpr)
设置FPR [0.0，1.0]以进行特征选择。只适用于selectorType =“fpr”。
New in version 2.1.0.
setNumTopFeatures(numTopFeatures)
设置topK特征的数量。只适用于selectorType =“numTopFeatures”。
New in version 2.1.0.
setPercentile(percentile)
按百分位数设置特征选择比例，范围在[0.0，1.0]。只适用于selectorType =“percentile”。
New in version 2.1.0.
setSelectorType(selectorType)
设置ChisqSelector的选择器类型。支持的选项：“numTopFeatures”（默认），“percentile”，“fpr”。
New in version 2.1.0.
备注
ChiSqSelector卡方特征选择的最新信息参考：ChiSqSelector