本文整理汇总了Python中pyspark.ml.tuning.CrossValidator.setParallelism方法的典型用法代码示例。如果您正苦于以下问题:Python CrossValidator.setParallelism方法的具体用法?Python CrossValidator.setParallelism怎么用?Python CrossValidator.setParallelism使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.ml.tuning.CrossValidator
的用法示例。
在下文中一共展示了CrossValidator.setParallelism方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: test_parallel_evaluation
# 需要导入模块: from pyspark.ml.tuning import CrossValidator [as 别名]
# 或者: from pyspark.ml.tuning.CrossValidator import setParallelism [as 别名]
def test_parallel_evaluation(self):
dataset = self.spark.createDataFrame(
[(Vectors.dense([0.0]), 0.0),
(Vectors.dense([0.4]), 1.0),
(Vectors.dense([0.5]), 0.0),
(Vectors.dense([0.6]), 1.0),
(Vectors.dense([1.0]), 1.0)] * 10,
["features", "label"])
lr = LogisticRegression()
grid = ParamGridBuilder().addGrid(lr.maxIter, [5, 6]).build()
evaluator = BinaryClassificationEvaluator()
# test save/load of CrossValidator
cv = CrossValidator(estimator=lr, estimatorParamMaps=grid, evaluator=evaluator)
cv.setParallelism(1)
cvSerialModel = cv.fit(dataset)
cv.setParallelism(2)
cvParallelModel = cv.fit(dataset)
self.assertEqual(cvSerialModel.avgMetrics, cvParallelModel.avgMetrics)