Python PyTorch IWSLT2016用法及代码示例

本文简要介绍python语言中 torchtext.datasets.IWSLT2016 的用法。

用法:

torchtext.datasets.IWSLT2016(root='.data', split=('train', 'valid', 'test'), language_pair=('de', 'en'), valid_set='tst2013', test_set='tst2014')

参数：

• root-保存数据集的目录。默认值：“.data”

• split-要返回的拆分或拆分。可以是字符串或字符串元组。默认值：(‘train’, ‘valid’, ‘test’)

• language_pair-包含 src 和 tgt 语言的元组或列表

• valid_set-用于标识验证集的字符串。

• test_set-用于标识测试集的字符串。

IWSLT2016 数据集

可用的数据集包括：

语言对：

	‘en’	‘fr’	‘de’	‘cs’	‘ar’
‘en’		x	x	x	x
‘fr’	x
‘de’	x
‘cs’	x
‘ar’	x

有效/测试集：[‘dev2010’, ‘tst2010’、‘tst2011’, ‘tst2012’、‘tst2013’, ‘tst2014’]

有关更多详细信息，请参阅源网站：https://wit3.fbk.eu/2016-01

例子

>>> from torchtext.datasets import IWSLT2016
>>> train_iter, valid_iter, test_iter = IWSLT2016()
>>> src_sentence, tgt_sentence = next(train_iter)