本文整理汇总了Python中pyspark.SparkConf.textFile方法的典型用法代码示例。如果您正苦于以下问题：Python SparkConf.textFile方法的具体用法？Python SparkConf.textFile怎么用？Python SparkConf.textFile使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.SparkConf的用法示例。
在下文中一共展示了SparkConf.textFile方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: parse
# 需要导入模块: from pyspark import SparkConf [as 别名]
# 或者: from pyspark.SparkConf import textFile [as 别名]
def parse(str):
s = p.match(str)
d = {}
d['ip'] = s.group(1)
d['date'] = s.group(4)
d['operation'] = s.group(5)
d['uri'] = s.group(6)
return d
regex = '^(\S+) (\S+) (\S+) \[([\w:/]+\s[+\-]\d{4})\] "(\S+)\s?(\S+)?\s?(\S+)?" (\d{3}|-) (\d+|-)\s?"?([^"]*)"?\s?"?([^"]*)?"?$'
p = re.compile(regex)
rdd = sc.textFile("/home/ubuntu/walker/apache_logs")
rdd2 = rdd.map(parse)
rdd3 = rdd2.map(addId())
es_write_conf = {
"es.nodes": "localhost",
"es.port": "9200",
"es.resource": 'walker/apache',
"es.input.json": "yes",
"es.mapping.id": "doc_id"
}
rdd3.saveAsNewAPIHadoopFile(
path='-',