Python nltk.tokenize.mwe()用法及代码示例

借助NLTK nltk.tokenize.mwe()方法，我们可以将音频流令牌化为multi_word表达令牌，该令牌有助于通过使用下划线将令牌与下划线绑定nltk.tokenize.mwe()方法。请记住，它区分大小写。

用法： MWETokenizer.tokenize()

返回： Return bind tokens as one if declared before.

范例1：
在这个例子中，我们使用MWETokenizer.tokenize()方法，该方法用于绑定之前定义的令牌。我们还可以通过使用添加预定义的令牌tokenizer.add_mwe()方法。

# import MWETokenizer() method from nltk 
from nltk.tokenize import MWETokenizer 
   
# Create a reference variable for Class MWETokenizer 
tk = MWETokenizer([('g', 'f', 'g'), ('geeks', 'for', 'geeks')]) 
   
# Create a string input 
gfg = "geeks for geeks g f g"
   
# Use tokenize method 
geek = tk.tokenize(gfg.split()) 
   
print(geek)

输出：

[‘geeks_for_geeks’, ‘g_f_g’]

范例2：

# import MWETokenizer() method from nltk 
from nltk.tokenize import MWETokenizer 
   
# Create a reference variable for Class MWETokenizer 
tk = MWETokenizer([('g', 'f', 'g'), ('geeks', 'for', 'geeks')]) 
tk.add_mwe(('who', 'are', 'you')) 
   
# Create a string input 
gfg = "who are you at geeks for geeks"
   
# Use tokenize method 
geek = tk.tokenize(gfg.split()) 
   
print(geek)

输出：

[‘who_are_you’, ‘at’, ‘geeks_for_geeks’]

相关用法

注：本文由纯净天空筛选整理自Jitender_1998大神的英文原创作品 Python NLTK | nltk.tokenize.mwe()。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。