当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


R dials token 代币类型


代币类型

用法

token(values = values_token)

values_token

格式

长度为 12 的 character 类对象。

参数

values

可能值的字符串。请参阅下面示例中的values_token

细节

该参数用在 textrecipes::step_tokenize() 中。

例子

values_token
#>  [1] "words"             "characters"        "character_shingle"
#>  [4] "lines"             "ngrams"            "paragraphs"       
#>  [7] "ptb"               "regex"             "sentences"        
#> [10] "skip_ngrams"       "tweets"            "word_stems"       
token()
#> Token Unit  (qualitative)
#> 12 possible values include:
#> 'words', 'characters', 'character_shingle', 'lines', 'ngrams', 'paragra... 
源代码:R/param_token.R

相关用法


注:本文由纯净天空筛选整理自Max Kuhn等大神的英文原创作品 Token types。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。