當前位置: 首頁>>代碼示例>>Python>>正文

Python pytorch_transformers.BertTokenizer方法代碼示例

本文整理匯總了Python中pytorch_transformers.BertTokenizer方法的典型用法代碼示例。如果您正苦於以下問題：Python pytorch_transformers.BertTokenizer方法的具體用法？Python pytorch_transformers.BertTokenizer怎麽用？Python pytorch_transformers.BertTokenizer使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類pytorch_transformers的用法示例。


在下文中一共展示了pytorch_transformers.BertTokenizer方法的2個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。

示例1: __init__

# 需要導入模塊: import pytorch_transformers [as 別名]
# 或者: from pytorch_transformers import BertTokenizer [as 別名]
def __init__(self, vocab_path, do_lower_case):
        self.tokenizer = BertTokenizer(vocab_path, do_lower_case)
開發者ID:hscspring，項目名稱:Multi-Label-Text-Classification-for-Chinese，代碼行數:4，代碼來源:bert.py

示例2: test_tokenizer_from_pretrained

# 需要導入模塊: import pytorch_transformers [as 別名]
# 或者: from pytorch_transformers import BertTokenizer [as 別名]
def test_tokenizer_from_pretrained(self):
        logging.basicConfig(level=logging.INFO)
        for model_name in list(BERT_PRETRAINED_MODEL_ARCHIVE_MAP.keys())[:1]:
            tokenizer = AutoTokenizer.from_pretrained(model_name)
            self.assertIsNotNone(tokenizer)
            self.assertIsInstance(tokenizer, BertTokenizer)
            self.assertGreater(len(tokenizer), 0)

        for model_name in list(GPT2_PRETRAINED_MODEL_ARCHIVE_MAP.keys())[:1]:
            tokenizer = AutoTokenizer.from_pretrained(model_name)
            self.assertIsNotNone(tokenizer)
            self.assertIsInstance(tokenizer, GPT2Tokenizer)
            self.assertGreater(len(tokenizer), 0)
開發者ID:linhaow，項目名稱:TextClassify，代碼行數:15，代碼來源:tokenization_auto_test.py


注：本文中的pytorch_transformers.BertTokenizer方法示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。