本文整理汇总了Python中corpus.Corpus.generate方法的典型用法代码示例。如果您正苦于以下问题：Python Corpus.generate方法的具体用法？Python Corpus.generate怎么用？Python Corpus.generate使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类corpus.Corpus的用法示例。
在下文中一共展示了Corpus.generate方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: ArgumentParser
# 需要导入模块: from corpus import Corpus [as 别名]
# 或者: from corpus.Corpus import generate [as 别名]
if __name__ == '__main__':
from argparse import ArgumentParser
import numpy as np
from corpus import Corpus, Indexer
from keras.utils.np_utils import to_categorical
parser = ArgumentParser()
parser.add_argument('-r', '--root', type=str, required=True)
args = parser.parse_args()
root = args.root
idxr = Indexer(reserved={0: 'padding', 1: 'OOV'})
train = Corpus(root + 'train')
test = Corpus(root + 'test')
dev = Corpus(root + 'dev')
idxr.encode_seq(train.chars()) # quick pass to fit vocab
print("Encoding test set")
X_test, y_test = list(zip(*test.generate(idxr, oov_idx=1)))
X_test = np.asarray(X_test),
y_test = to_categorical(y_test, nb_classes=idxr.vocab_len())
print("Encoding dev set")
X_dev, y_dev = list(zip(*dev.generate(idxr, oov_idx=1)))
X_dev = np.asarray(X_dev),
y_dev = to_categorical(y_dev, nb_classes=idxr.vocab_len())