本文整理汇总了Scala中org.apache.spark.ml.feature.SQLTransformer类的典型用法代码示例。如果您正苦于以下问题:Scala SQLTransformer类的具体用法?Scala SQLTransformer怎么用?Scala SQLTransformer使用的例子?那么恭喜您, 这里精选的类代码示例或许可以为您提供帮助。
在下文中一共展示了SQLTransformer类的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Scala代码示例。
示例1: SQLTransformer
//设置package包名称以及导入依赖的类
package com.lhcg.ml
import org.apache.spark.{SparkConf, SparkContext}
import org.apache.spark.ml.feature.SQLTransformer
import org.apache.spark.sql.SQLContext
object SQLTransformer {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("SQLTransformer")
// .setMaster("local[2]")
val spark = new SparkContext(conf)
val sqlContext = new SQLContext(spark)
val df = sqlContext.createDataFrame(
Seq((0, 1.0, 3.0), (2, 2.0, 5.0))).toDF("id", "v1", "v2")
val sqlTrans = new SQLTransformer().setStatement(
"SELECT *, (v1 + v2) AS v3, (v1 * v2) AS v4 FROM __THIS__")
sqlTrans.transform(df).show()
}
}