本文整理匯總了Python中wmt_utils.basic_detokenizer方法的典型用法代碼示例。如果您正苦於以下問題：Python wmt_utils.basic_detokenizer方法的具體用法？Python wmt_utils.basic_detokenizer怎麽用？Python wmt_utils.basic_detokenizer使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類wmt_utils的用法示例。
在下文中一共展示了wmt_utils.basic_detokenizer方法的1個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。
示例1: linearize
# 需要導入模塊: import wmt_utils [as 別名]
# 或者: from wmt_utils import basic_detokenizer [as 別名]
def linearize(output, rev_fr_vocab, simple_tokenizer=None, eos_id=wmt.EOS_ID):
# If there is an EOS symbol in outputs, cut them at that point (WMT).
if eos_id in output:
output = output[:output.index(eos_id)]
# Print out French sentence corresponding to outputs.
if simple_tokenizer or FLAGS.simple_tokenizer:
vlen = len(rev_fr_vocab)
def vget(o):
if o < vlen:
return rev_fr_vocab[o]
return "UNK"
return " ".join([vget(o) for o in output])
else:
return wmt.basic_detokenizer([rev_fr_vocab[o] for o in output])