R textrecipes step_tokenize 字符变量的标记化

step_tokenize(
  recipe,
  ...,
  role = NA,
  trained = FALSE,
  columns = NULL,
  training_options = list(),
  options = list(),
  token = "words",
  engine = "tokenizers",
  custom_token = NULL,
  skip = FALSE,
  id = rand_id("tokenize")
)

text_tibble <- tibble(
  text = c("This is words", "They are nice!")
)

分词器

tokenizers 包是默认的 engine ，它带有以下单位 token 。所有这些选项都对应于 tokenizers 包中的一个函数。

• "words"(默认)

• "characters"

• "character_shingles"

• "ngrams"

• "skip_ngrams"

• "sentences"

• "lines"

• "paragraphs"

• "regex"

• "ptb"(宾夕法尼亚树库)

• "skip_ngrams"

• "word_stems"

默认标记器是"word"，它将文本分割成一系列单词。通过使用 step_tokenize() 而不设置任何参数，您可以获得单词标记

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text) %>%
  show_tokens(text)
#> [[1]]
#> [1] "this"  "is"    "words"
#> 
#> [[2]]
#> [1] "they" "are"  "nice"

此标记生成器具有更改标记化发生方式的参数，并且可以通过传递命名列表使用 options 参数进行访问。在这里我们告诉tokenizers::tokenize_words我们不想将单词变成小写

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text,
                options = list(lowercase = FALSE)) %>%
  show_tokens(text)
#> [[1]]
#> [1] "This"  "is"    "words"
#> 
#> [[2]]
#> [1] "They" "are"  "nice"

我们也可以停止删除标点符号。

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text,
                options = list(strip_punct = FALSE,
                               lowercase = FALSE)) %>%
  show_tokens(text)
#> [[1]]
#> [1] "This"  "is"    "words"
#> 
#> [[2]]
#> [1] "They" "are"  "nice" "!"

可以通过设置不同的 token 来更改分词器。这里我们将其更改为返回字符标记。

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text, token = "characters") %>%
  show_tokens(text)
#> [[1]]
#>  [1] "t" "h" "i" "s" "i" "s" "w" "o" "r" "d" "s"
#> 
#> [[2]]
#>  [1] "t" "h" "e" "y" "a" "r" "e" "n" "i" "c" "e"

值得注意的是，并非所有这些令牌方法都适用，但为了完整性而包含在内。

斯帕希尔

• "words"

tokenizers.bpe

tokeenizers.bpe 引擎执行字节对编码文本标记化。

• "words"

该分词器在训练集上进行训练，因此需要传递训练参数。这些被传递给 training_options 参数，最重要的是 vocab_size 。确定标记生成器将生成的唯一标记的数量。它通常设置为更高的值，通常为数千，但出于演示目的，此处设置为 22。

recipe(~ text, data = text_tibble) %>%
  step_tokenize(
    text,
    engine = "tokenizers.bpe",
    training_options = list(vocab_size = 22)
  ) %>%
  show_tokens(text)

#> [[1]]
#>  [1] "_Th" "is"  "_"   "is"  "_"   "w"   "o"   "r"   "d"   "s"  
#> 
#> [[2]]
#>  [1] "_Th" "e"   "y"   "_"   "a"   "r"   "e"   "_"   "n"   "i"   "c"   "e"  
#> [13] "!"

乌德管道

• "words"

custom_token

有时您需要执行支持的引擎未涵盖的标记化。在这种情况下，您可以使用 custom_token 参数传递一个函数来执行您想要的标记化。

下面是一个非常简单的空间标记化的示例。这是一种非常快速的标记化方式。

space_tokenizer <- function(x) {
  strsplit(x, " +")
}

recipe(~ text, data = text_tibble) %>%
  step_tokenize(
    text,
    custom_token = space_tokenizer
  ) %>%
  show_tokens(text)
#> [[1]]
#> [1] "This"  "is"    "words"
#> 
#> [[2]]
#> [1] "They"  "are"   "nice!"

step_untokenize() 取消标记化。

标记化的其他步骤：step_tokenize_bpe()、step_tokenize_sentencepiece()、step_tokenize_wordpiece()

library(recipes)
library(modeldata)
data(tate_text)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, new_data = NULL, medium) %>%
  slice(1:2)
#> # A tibble: 2 × 1
#>       medium
#>    <tknlist>
#> 1 [8 tokens]
#> 2 [3 tokens]

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3

tidy(tate_rec, number = 1)
#> # A tibble: 1 × 3
#>   terms  value id            
#>   <chr>  <chr> <chr>         
#> 1 medium NA    tokenize_zffJ2
tidy(tate_obj, number = 1)
#> # A tibble: 1 × 3
#>   terms  value id            
#>   <chr>  <chr> <chr>         
#> 1 medium words tokenize_zffJ2

tate_obj_chars <- recipe(~., data = tate_text) %>%
  step_tokenize(medium, token = "characters") %>%
  prep()

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3