Python nltk.tokenize.LineTokenizer用法及代码示例

借助nltk.tokenize.LineTokenizer()方法，我们能够通过使用以下命令以单行形式从句子字符串中提取标记tokenize.LineTokenizer()方法。

用法： tokenize.LineTokenizer()

返回：Return the tokens of line from stream of sentences.

范例1：
在这个例子中，我们可以通过使用tokenize.LineTokenizer()方法，我们能够从句子流中提取标记成小行。

# import LineTokenizer() method from nltk 
from nltk.tokenize import LineTokenizer 
     
# Create a reference variable for Class LineTokenizer 
tk = LineTokenizer() 
     
# Create a string input 
gfg = "GeeksforGeeks...$$&* \nis\n for geeks"
     
# Use tokenize method 
geek = tk.tokenize(gfg) 
     
print(geek)

输出：

[‘GeeksforGeeks…$$&* ‘, ‘is’, ‘ for geeks’]

范例2：

# import LineTokenizer() method from nltk 
from nltk.tokenize import LineTokenizer 
     
# Create a reference variable for Class LineTokenizer 
tk = LineTokenizer(blanklines ='keep') 
     
# Create a string input 
gfg = "The price\n\n of burger \nin BurgerKing is Rs.36.\n"
     
# Use tokenize method 
geek = tk.tokenize(gfg) 
     
print(geek)

输出：

[‘The price’, ”, ‘ of burger ‘, ‘in BurgerKing is Rs.36.’]

相关用法

注：本文由纯净天空筛选整理自Jitender_1998大神的英文原创作品 Python NLTK | nltk.tokenize.LineTokenizer。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。