本文整理汇总了Python中pyspark.sql.SQLContext.csvFile方法的典型用法代码示例。如果您正苦于以下问题：Python SQLContext.csvFile方法的具体用法？Python SQLContext.csvFile怎么用？Python SQLContext.csvFile使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.sql.SQLContext的用法示例。
在下文中一共展示了SQLContext.csvFile方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: SQLContext
# 需要导入模块: from pyspark.sql import SQLContext [as 别名]
# 或者: from pyspark.sql.SQLContext import csvFile [as 别名]
# else
# point[c]=c1
# c1=avg(X where point[c]=c1)
# c2=avg(X where point[c]=c2)
#pyspark --packages com.databricks:spark-csv_2.10:1.3.0
import numpy as np
import random
from pyspark.sql import SQLContext
sqlContext = SQLContext(sc)
#first argument is data file name
#path=sys.argv[1]
dataFilePath="train.csv"
trainDataFrame = sqlContext.csvFile(source="com.databricks.spark.csv", header="true", path = dataFilePath)
trainDataFrame.registerTempTable("trainDataFrame")
def isCentroid(point, centroidArray):
i=1
for centroid in centroidArray:
if(("%.6f" %point[0]=="%.6f" %centroid[1][0]) & ("%.6f" %point[1]=="%.6f" %centroid[1][1])):
return "C"+str(i)
i=i+1
return "Not Centroid"
def getCentroid(point, centroidArray):
res=isCentroid(point, centroidArray)
if(res=="Not Centroid"):
myCentroid=centroidArray[0]