本文整理汇总了Python中pyspark.SparkContext.stops方法的典型用法代码示例。如果您正苦于以下问题：Python SparkContext.stops方法的具体用法？Python SparkContext.stops怎么用？Python SparkContext.stops使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类pyspark.SparkContext的用法示例。
在下文中一共展示了SparkContext.stops方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: SparkConf
# 需要导入模块: from pyspark import SparkContext [as 别名]
# 或者: from pyspark.SparkContext import stops [as 别名]
sys.setrecursionlimit(1000000)
url=page.split("\t")[0];
content=page.split("\t")[1];
soup=BeautifulSoup(content.replace('$','\n'));
job_labels=soup.find_all('div',class_='inner-left fl')[0];
job_name = job_labels.h1.string;
company_url = job_labels.h2.a.get('href');
label=[];
for l in job_labels.div.find_all('span'):
label.append(l.string);
job_item=soup.find_all('ul',class_='terminal-ul clearfix')[0].getText();
jd=soup.find_all('div','tab-inner-cont')[0].getText();
# print job_name,company_url,label,job_item,jd
return {'job_name':job_name,'company_url': company_url ,'label':label,'job_item':job_item,'jd':jd};
if __name__ == '__main__':
conf = SparkConf().setMaster("local[*]").setAppName("parseJobs")
sc = SparkContext(conf)
te=sc.textFile(sys.argv[0]);
jobs=te.map(lambda x:parseJobs(x));
conn=pymongo.MongoClient(host="127.0.0.1",port=27017);
db=conn.spider;
db.job_info;
def mongo_save(x):
db.job_info.save(x);
for i in jobs.collect():
mongo_save(json.dumps(dict(i)));
sc.stops();