当前位置: 首页>>代码示例>>Python>>正文


Python MRWordCount.parse_output_line方法代码示例

本文整理汇总了Python中tests.mr_word_count.MRWordCount.parse_output_line方法的典型用法代码示例。如果您正苦于以下问题:Python MRWordCount.parse_output_line方法的具体用法?Python MRWordCount.parse_output_line怎么用?Python MRWordCount.parse_output_line使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在tests.mr_word_count.MRWordCount的用法示例。


在下文中一共展示了MRWordCount.parse_output_line方法的1个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Python代码示例。

示例1: test_input_files_and_setting_number_of_tasks

# 需要导入模块: from tests.mr_word_count import MRWordCount [as 别名]
# 或者: from tests.mr_word_count.MRWordCount import parse_output_line [as 别名]
    def test_input_files_and_setting_number_of_tasks(self):
        input_path = os.path.join(self.tmp_dir, 'input')
        with open(input_path, 'wb') as input_file:
            input_file.write(b'bar\nqux\nfoo\n')

        input_gz_path = os.path.join(self.tmp_dir, 'input.gz')
        input_gz = gzip.GzipFile(input_gz_path, 'wb')
        input_gz.write(b'foo\n')
        input_gz.close()

        mr_job = MRWordCount(['-r', self.RUNNER,
                              '--jobconf=mapred.map.tasks=3',
                              '--jobconf=mapred.reduce.tasks=3',
                              input_path, input_gz_path])
        mr_job.sandbox()

        results = []

        with mr_job.make_runner() as runner:
            runner.run()

            for line in runner.stream_output():
                key, value = mr_job.parse_output_line(line)
                results.append((key, value))

            self.assertEqual(runner.counters()[0]['count']['combiners'], 3)

        self.assertEqual(sorted(results),
                         [(input_path, 3), (input_gz_path, 1)])
开发者ID:anirudhreddy92,项目名称:mrjob,代码行数:31,代码来源:test_inline.py


注:本文中的tests.mr_word_count.MRWordCount.parse_output_line方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。