當前位置: 首頁>>代碼示例>>Python>>正文

Python jieba.Tokenizer方法代碼示例

本文整理匯總了Python中jieba.Tokenizer方法的典型用法代碼示例。如果您正苦於以下問題：Python jieba.Tokenizer方法的具體用法？Python jieba.Tokenizer怎麽用？Python jieba.Tokenizer使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類jieba的用法示例。


在下文中一共展示了jieba.Tokenizer方法的3個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Python代碼示例。

示例1: __init__

# 需要導入模塊: import jieba [as 別名]
# 或者: from jieba import Tokenizer [as 別名]
def __init__(self, tokenizer=None):
        self.tokenizer = tokenizer or jieba.Tokenizer()
        self.load_word_tag(self.tokenizer.get_dict_file())
開發者ID:deepcs233，項目名稱:jieba_fast，代碼行數:5，代碼來源:__init__.py

示例2: lcut

# 需要導入模塊: import jieba [as 別名]
# 或者: from jieba import Tokenizer [as 別名]
def lcut(self, *args, **kwargs):
        return list(self.cut(*args, **kwargs))

# default Tokenizer instance
開發者ID:deepcs233，項目名稱:jieba_fast，代碼行數:6，代碼來源:__init__.py

示例3: __init__

# 需要導入模塊: import jieba [as 別名]
# 或者: from jieba import Tokenizer [as 別名]
def __init__(self, tokenizer=None):
        self.tokenizer = tokenizer or jieba.Tokenizer()
        self.load_word_tag(self.tokenizer.get_abs_path_dict())
開發者ID:ustcdane，項目名稱:annotated_jieba，代碼行數:5，代碼來源:__init__.py


注：本文中的jieba.Tokenizer方法示例由純淨天空整理自Github/MSDocs等開源代碼及文檔管理平台，相關代碼片段篩選自各路編程大神貢獻的開源項目，源碼版權歸原作者所有，傳播和使用請參考對應項目的License；未經允許，請勿轉載。