Python nltk.tokenize.SExprTokenizer()用法及代码示例

借助nltk.tokenize.SExprTokenizer()方法，我们可以使用以下方法从字符串或数字字符串中提取标记tokenize.SExprTokenizer()方法。它实际上在寻找合适的括号来制作标记。

用法： tokenize.SExprTokenizer()

返回：Return the tokens from a string of characters or numbers.

范例1：
在这个例子中，我们可以通过使用tokenize.SExprTokenizer()方法，我们可以考虑括号，从字符或数字流中提取标记。

# import SExprTokenizer() method from nltk 
from nltk.tokenize import SExprTokenizer 
     
# Create a reference variable for Class SExprTokenizer 
tk = SExprTokenizer() 
     
# Create a string input 
gfg = "( a * ( b + c ))ab( a-c )"
     
# Use tokenize method 
geek = tk.tokenize(gfg) 
     
print(geek)

输出：

[‘( a * ( b+c ))’, ‘ab’, ‘( a-c )’]

范例2：

# import SExprTokenizer() method from nltk 
from nltk.tokenize import SExprTokenizer 
     
# Create a reference variable for Class SExprTokenizer 
tk = SExprTokenizer() 
     
# Create a string input 
gfg = "(a b) c d (e f)"
     
# Use tokenize method 
geek = tk.tokenize(gfg) 
     
print(geek)

输出：

[‘(a b)’, ‘c’, ‘d’, ‘(e f)’]

相关用法

注：本文由纯净天空筛选整理自Jitender_1998大神的英文原创作品 Python NLTK | nltk.tokenize.SExprTokenizer()。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。