本文整理汇总了Python中nltk.tgrep.tgrep_tokenize函数的典型用法代码示例。如果您正苦于以下问题：Python tgrep_tokenize函数的具体用法？Python tgrep_tokenize怎么用？Python tgrep_tokenize使用的例子？那么恭喜您, 这里精选的函数代码示例或许可以为您提供帮助。
在下文中一共展示了tgrep_tokenize函数的9个代码示例，这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞，您的评价将有助于系统推荐出更棒的Python代码示例。
示例1: test_tokenize_encoding
def test_tokenize_encoding(self):
'''
Test that tokenization handles bytes and strs the same way.
'''
self.assertEqual(
tgrep.tgrep_tokenize(b('A .. (B !< C . D) | ![<< (E , F) $ G]')),
tgrep.tgrep_tokenize('A .. (B !< C . D) | ![<< (E , F) $ G]'))示例2: test_tokenize_node_labels
def test_tokenize_node_labels(self):
'''Test tokenization of labeled nodes.'''
self.assertEqual(tgrep.tgrep_tokenize(
'S < @SBJ < (@VP < (@VB $.. @OBJ))'),
['S', '<', '@SBJ', '<', '(', '@VP', '<', '(',
'@VB', '$..', '@OBJ', ')', ')'])
self.assertEqual(tgrep.tgrep_tokenize(
'S < @SBJ=s < (@VP=v < (@VB $.. @OBJ))'),
['S', '<', '@SBJ', '=', 's', '<', '(', '@VP',
'=', 'v', '<', '(', '@VB', '$..', '@OBJ', ')',
')'])示例3: test_tokenize_segmented_patterns
def test_tokenize_segmented_patterns(self):
'''Test tokenization of segmented patterns.'''
self.assertEqual(tgrep.tgrep_tokenize(
'S < @SBJ=s < (@VP=v < (@VB $.. @OBJ)) : =s .. =v'),
['S', '<', '@SBJ', '=', 's', '<', '(', '@VP',
'=', 'v', '<', '(', '@VB', '$..', '@OBJ', ')',
')', ':', '=s', '..', '=v'])示例4: test_tokenize_quoting
def test_tokenize_quoting(self):
'''
Test tokenization of quoting.
'''
self.assertEqual(tgrep.tgrep_tokenize('"A<<:B"<<:"A $.. B"<"A>3B"<C'),
['"A<<:B"', '<<:', '"A $.. B"', '<', '"A>3B"',
'<', 'C'])示例5: test_tokenize_simple
def test_tokenize_simple(self):
'''
Simple test of tokenization.
'''
tokens = tgrep.tgrep_tokenize('A .. (B !< C . D) | ![<< (E , F) $ G]')
self.assertEqual(
tokens,
[
'A',
'..',
'(',
'B',
'!',
'<',
'C',
'.',
'D',
')',
'|',
'!',
'[',
'<<',
'(',
'E',
',',
'F',
')',
'$',
'G',
']',
],
)示例6: test_tokenize_macros
def test_tokenize_macros(self):
'''
Test tokenization of macro definitions.
'''
self.assertEqual(
tgrep.tgrep_tokenize(
'@ NP /^NP/;\[email protected] NN /^NN/;\[email protected] [!< NP | < @NN] !$.. @NN'
),
[
'@',
'NP',
'/^NP/',
';',
'@',
'NN',
'/^NN/',
';',
'@NP',
'[',
'!',
'<',
'NP',
'|',
'<',
'@NN',
']',
'!',
'$..',
'@NN',
],
)示例7: test_tokenize_nodenames
def test_tokenize_nodenames(self):
'''
Test tokenization of node names.
'''
self.assertEqual(tgrep.tgrep_tokenize('Robert'), ['Robert'])
self.assertEqual(tgrep.tgrep_tokenize('/^[Bb]ob/'), ['/^[Bb]ob/'])
self.assertEqual(tgrep.tgrep_tokenize('*'), ['*'])
self.assertEqual(tgrep.tgrep_tokenize('__'), ['__'])
# test tokenization of NLTK tree position syntax
self.assertEqual(tgrep.tgrep_tokenize('N()'), ['N(', ')'])
self.assertEqual(tgrep.tgrep_tokenize('N(0,)'), ['N(', '0', ',', ')'])
self.assertEqual(tgrep.tgrep_tokenize('N(0,0)'), ['N(', '0', ',', '0', ')'])
self.assertEqual(
tgrep.tgrep_tokenize('N(0,0,)'), ['N(', '0', ',', '0', ',', ')']
)示例8: test_tokenize_link_types
def test_tokenize_link_types(self):
'''
Test tokenization of basic link types.
'''
self.assertEqual(tgrep.tgrep_tokenize('A<B'), ['A', '<', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>B'), ['A', '>', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<3B'), ['A', '<3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>3B'), ['A', '>3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<,B'), ['A', '<,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>,B'), ['A', '>,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<-3B'), ['A', '<-3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>-3B'), ['A', '>-3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<-B'), ['A', '<-', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>-B'), ['A', '>-', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<\'B'), ['A', '<\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>\'B'), ['A', '>\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<:B'), ['A', '<:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>:B'), ['A', '>:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<<B'), ['A', '<<', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>>B'), ['A', '>>', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<<,B'), ['A', '<<,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>>,B'), ['A', '>>,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<<\'B'), ['A', '<<\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>>\'B'), ['A', '>>\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A<<:B'), ['A', '<<:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A>>:B'), ['A', '>>:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A.B'), ['A', '.', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A,B'), ['A', ',', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A..B'), ['A', '..', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A,,B'), ['A', ',,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A$B'), ['A', '$', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A$.B'), ['A', '$.', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A$,B'), ['A', '$,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A$..B'), ['A', '$..', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A$,,B'), ['A', '$,,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<B'), ['A', '!', '<', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>B'), ['A', '!', '>', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<3B'), ['A', '!', '<3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>3B'), ['A', '!', '>3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<,B'), ['A', '!', '<,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>,B'), ['A', '!', '>,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<-3B'),
['A', '!', '<-3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>-3B'),
['A', '!', '>-3', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<-B'), ['A', '!', '<-', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>-B'), ['A', '!', '>-', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<\'B'),
['A', '!', '<\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>\'B'),
['A', '!', '>\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<:B'), ['A', '!', '<:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>:B'), ['A', '!', '>:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<<B'), ['A', '!', '<<', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>>B'), ['A', '!', '>>', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<<,B'),
['A', '!', '<<,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>>,B'),
['A', '!', '>>,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<<\'B'),
['A', '!', '<<\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>>\'B'),
['A', '!', '>>\'', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!<<:B'),
['A', '!', '<<:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!>>:B'),
['A', '!', '>>:', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!.B'), ['A', '!', '.', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!,B'), ['A', '!', ',', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!..B'), ['A', '!', '..', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!,,B'), ['A', '!', ',,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!$B'), ['A', '!', '$', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!$.B'), ['A', '!', '$.', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!$,B'), ['A', '!', '$,', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!$..B'),
['A', '!', '$..', 'B'])
self.assertEqual(tgrep.tgrep_tokenize('A!$,,B'),
['A', '!', '$,,', 'B'])示例9: test_tokenize_examples
def test_tokenize_examples(self):
'''
Test tokenization of the TGrep2 manual example patterns.
'''
self.assertEqual(tgrep.tgrep_tokenize('NP < PP'),
['NP', '<', 'PP'])
self.assertEqual(tgrep.tgrep_tokenize('/^NP/'),
['/^NP/'])
self.assertEqual(tgrep.tgrep_tokenize('NP << PP . VP'),
['NP', '<<', 'PP', '.', 'VP'])
self.assertEqual(tgrep.tgrep_tokenize('NP << PP | . VP'),
['NP', '<<', 'PP', '|', '.', 'VP'])
self.assertEqual(tgrep.tgrep_tokenize('NP !<< PP [> NP | >> VP]'),
['NP', '!', '<<', 'PP', '[', '>', 'NP', '|',
'>>', 'VP', ']'])
self.assertEqual(tgrep.tgrep_tokenize('NP << (PP . VP)'),
['NP', '<<', '(', 'PP', '.', 'VP', ')'])
self.assertEqual(tgrep.tgrep_tokenize('NP <\' (PP <, (IN < on))'),
['NP', '<\'', '(', 'PP', '<,', '(', 'IN', '<',
'on', ')', ')'])
self.assertEqual(tgrep.tgrep_tokenize('S < (A < B) < C'),
['S', '<', '(', 'A', '<', 'B', ')', '<', 'C'])
self.assertEqual(tgrep.tgrep_tokenize('S < ((A < B) < C)'),
['S', '<', '(', '(', 'A', '<', 'B', ')',
'<', 'C', ')'])
self.assertEqual(tgrep.tgrep_tokenize('S < (A < B < C)'),
['S', '<', '(', 'A', '<', 'B', '<', 'C', ')'])
self.assertEqual(tgrep.tgrep_tokenize('A<B&.C'),
['A', '<', 'B', '&', '.', 'C'])