本文整理汇总了Python中wmt_utils.basic_detokenizer方法的典型用法代码示例。如果您正苦于以下问题：Python wmt_utils.basic_detokenizer方法的具体用法？Python wmt_utils.basic_detokenizer怎么用？Python wmt_utils.basic_detokenizer使用的例子？那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类wmt_utils的用法示例。
在下文中一共展示了wmt_utils.basic_detokenizer方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: linearize
# 需要导入模块: import wmt_utils [as 别名]
# 或者: from wmt_utils import basic_detokenizer [as 别名]
def linearize(output, rev_fr_vocab, simple_tokenizer=None, eos_id=wmt.EOS_ID):
# If there is an EOS symbol in outputs, cut them at that point (WMT).
if eos_id in output:
output = output[:output.index(eos_id)]
# Print out French sentence corresponding to outputs.
if simple_tokenizer or FLAGS.simple_tokenizer:
vlen = len(rev_fr_vocab)
def vget(o):
if o < vlen:
return rev_fr_vocab[o]
return "UNK"
return " ".join([vget(o) for o in output])
else:
return wmt.basic_detokenizer([rev_fr_vocab[o] for o in output])