R textrecipes step_tokenize 字符變量的標記化

step_tokenize(
  recipe,
  ...,
  role = NA,
  trained = FALSE,
  columns = NULL,
  training_options = list(),
  options = list(),
  token = "words",
  engine = "tokenizers",
  custom_token = NULL,
  skip = FALSE,
  id = rand_id("tokenize")
)

text_tibble <- tibble(
  text = c("This is words", "They are nice!")
)

分詞器

tokenizers 包是默認的 engine ，它帶有以下單位 token 。所有這些選項都對應於 tokenizers 包中的一個函數。

• "words"(默認)

• "characters"

• "character_shingles"

• "ngrams"

• "skip_ngrams"

• "sentences"

• "lines"

• "paragraphs"

• "regex"

• "ptb"(賓夕法尼亞樹庫)

• "skip_ngrams"

• "word_stems"

默認標記器是"word"，它將文本分割成一係列單詞。通過使用 step_tokenize() 而不設置任何參數，您可以獲得單詞標記

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text) %>%
  show_tokens(text)
#> [[1]]
#> [1] "this"  "is"    "words"
#> 
#> [[2]]
#> [1] "they" "are"  "nice"

此標記生成器具有更改標記化發生方式的參數，並且可以通過傳遞命名列表使用 options 參數進行訪問。在這裏我們告訴tokenizers::tokenize_words我們不想將單詞變成小寫

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text,
                options = list(lowercase = FALSE)) %>%
  show_tokens(text)
#> [[1]]
#> [1] "This"  "is"    "words"
#> 
#> [[2]]
#> [1] "They" "are"  "nice"

我們也可以停止刪除標點符號。

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text,
                options = list(strip_punct = FALSE,
                               lowercase = FALSE)) %>%
  show_tokens(text)
#> [[1]]
#> [1] "This"  "is"    "words"
#> 
#> [[2]]
#> [1] "They" "are"  "nice" "!"

可以通過設置不同的 token 來更改分詞器。這裏我們將其更改為返回字符標記。

recipe(~ text, data = text_tibble) %>%
  step_tokenize(text, token = "characters") %>%
  show_tokens(text)
#> [[1]]
#>  [1] "t" "h" "i" "s" "i" "s" "w" "o" "r" "d" "s"
#> 
#> [[2]]
#>  [1] "t" "h" "e" "y" "a" "r" "e" "n" "i" "c" "e"

值得注意的是，並非所有這些令牌方法都適用，但為了完整性而包含在內。

斯帕希爾

• "words"

tokenizers.bpe

tokeenizers.bpe 引擎執行字節對編碼文本標記化。

• "words"

該分詞器在訓練集上進行訓練，因此需要傳遞訓練參數。這些被傳遞給 training_options 參數，最重要的是 vocab_size 。確定標記生成器將生成的唯一標記的數量。它通常設置為更高的值，通常為數千，但出於演示目的，此處設置為 22。

recipe(~ text, data = text_tibble) %>%
  step_tokenize(
    text,
    engine = "tokenizers.bpe",
    training_options = list(vocab_size = 22)
  ) %>%
  show_tokens(text)

#> [[1]]
#>  [1] "_Th" "is"  "_"   "is"  "_"   "w"   "o"   "r"   "d"   "s"  
#> 
#> [[2]]
#>  [1] "_Th" "e"   "y"   "_"   "a"   "r"   "e"   "_"   "n"   "i"   "c"   "e"  
#> [13] "!"

烏德管道

• "words"

custom_token

有時您需要執行支持的引擎未涵蓋的標記化。在這種情況下，您可以使用 custom_token 參數傳遞一個函數來執行您想要的標記化。

下麵是一個非常簡單的空間標記化的示例。這是一種非常快速的標記化方式。

space_tokenizer <- function(x) {
  strsplit(x, " +")
}

recipe(~ text, data = text_tibble) %>%
  step_tokenize(
    text,
    custom_token = space_tokenizer
  ) %>%
  show_tokens(text)
#> [[1]]
#> [1] "This"  "is"    "words"
#> 
#> [[2]]
#> [1] "They"  "are"   "nice!"

step_untokenize() 取消標記化。

標記化的其他步驟：step_tokenize_bpe()、step_tokenize_sentencepiece()、step_tokenize_wordpiece()

library(recipes)
library(modeldata)
data(tate_text)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, new_data = NULL, medium) %>%
  slice(1:2)
#> # A tibble: 2 × 1
#>       medium
#>    <tknlist>
#> 1 [8 tokens]
#> 2 [3 tokens]

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3

tidy(tate_rec, number = 1)
#> # A tibble: 1 × 3
#>   terms  value id            
#>   <chr>  <chr> <chr>         
#> 1 medium NA    tokenize_zffJ2
tidy(tate_obj, number = 1)
#> # A tibble: 1 × 3
#>   terms  value id            
#>   <chr>  <chr> <chr>         
#> 1 medium words tokenize_zffJ2

tate_obj_chars <- recipe(~., data = tate_text) %>%
  step_tokenize(medium, token = "characters") %>%
  prep()

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3