本文整理汇总了Python中tests.mr_word_count.MRWordCount.parse_output_line方法的典型用法代码示例。如果您正苦于以下问题：Python MRWordCount.parse_output_line方法的具体用法？Python MRWordCount.parse_output_line怎么用？Python MRWordCount.parse_output_line使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类tests.mr_word_count.MRWordCount的用法示例。
在下文中一共展示了MRWordCount.parse_output_line方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: test_input_files_and_setting_number_of_tasks
# 需要导入模块: from tests.mr_word_count import MRWordCount [as 别名]
# 或者: from tests.mr_word_count.MRWordCount import parse_output_line [as 别名]
def test_input_files_and_setting_number_of_tasks(self):
input_path = os.path.join(self.tmp_dir, 'input')
with open(input_path, 'wb') as input_file:
input_file.write(b'bar\nqux\nfoo\n')
input_gz_path = os.path.join(self.tmp_dir, 'input.gz')
input_gz = gzip.GzipFile(input_gz_path, 'wb')
input_gz.write(b'foo\n')
input_gz.close()
mr_job = MRWordCount(['-r', self.RUNNER,
'--jobconf=mapred.map.tasks=3',
'--jobconf=mapred.reduce.tasks=3',
input_path, input_gz_path])
mr_job.sandbox()
results = []
with mr_job.make_runner() as runner:
runner.run()
for line in runner.stream_output():
key, value = mr_job.parse_output_line(line)
results.append((key, value))
self.assertEqual(runner.counters()[0]['count']['combiners'], 3)
self.assertEqual(sorted(results),
[(input_path, 3), (input_gz_path, 1)])