本文整理汇总了Python中nltk.tokenize.punkt.PunktSentenceTokenizer.lower方法的典型用法代码示例。如果您正苦于以下问题：Python PunktSentenceTokenizer.lower方法的具体用法？Python PunktSentenceTokenizer.lower怎么用？Python PunktSentenceTokenizer.lower使用的例子？那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在类nltk.tokenize.punkt.PunktSentenceTokenizer的用法示例。
在下文中一共展示了PunktSentenceTokenizer.lower方法的1个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: preprocessin
# 需要导入模块: from nltk.tokenize.punkt import PunktSentenceTokenizer [as 别名]
# 或者: from nltk.tokenize.punkt.PunktSentenceTokenizer import lower [as 别名]
def preprocessin(self, cell_value):
# to tokenize the tweet into sentences
tweet = PunktSentenceTokenizer().tokenize(cell_value)
# to remove 'u'
tweet = '\n'.join(tweet)
# to remove html tags
tweet = self.remTags(tweet)
# to lower aplphabets
tweet = tweet.lower()
##Removing all junk
tweet = re.sub(u'(RT |\\\\|\u201c)"[email protected]*?[: ]', ' ', tweet)
tweet = re.sub('@', ' ', tweet)
tweet = re.sub(r'[^\x00-\x7F]', ' ', tweet)
tweet = re.sub('[\s]+', ' ', tweet)
tweet = re.sub('_', ' ', tweet)
tweet = re.sub('((www\.[\s]+)|(https?://[^\s]+))', '', tweet)
tweet = re.sub(r'\\([^\s]+)', ' ', tweet)
tweet = re.sub(u'[\u2018\u2019]', '\'', tweet)
tweet = re.sub('(^|)?http?s?:?/?/?.*?( |$)', ' ', tweet)
tweet = re.sub(u'\u2026', ' ', tweet)
tweet = re.sub('---', ' ', tweet)
tweet = re.sub(u'[\u201c\u201d]', '"', tweet)
tweet = re.sub('\[email protected]*?( |:|$)', ' ', tweet)
tweet = re.sub(r"\.\.+", ' ', tweet)
tweet = re.sub('&', ' ', tweet)
tweet = re.sub('\.\.\.', ' ', tweet)
tweet = tweet.strip('\'"')
tweet = re.sub('(, |\.( |$))', ' ', tweet)
tweet = re.sub('[][!"$*,/;<=>[email protected]\\\\^_`{|}~]', ' ', tweet)
tweet = re.sub('( - )', ' ', tweet)
return tweet