R textrecipes step_lemma 標記變量的詞形還原

step_lemma() 創建配方步驟的規範，該步驟將提取 token 變量的詞形還原。

用法

step_lemma(
  recipe,
  ...,
  role = NA,
  trained = FALSE,
  columns = NULL,
  skip = FALSE,
  id = rand_id("lemma")
)

參數

recipe

一個recipe 對象。該步驟將添加到此配方的操作序列中。

...

一個或多個選擇器函數用於選擇受該步驟影響的變量。有關更多詳細信息，請參閱recipes::selections()。

role

由於沒有創建新變量，因此此步驟未使用。

trained

指示預處理數量是否已估計的邏輯。

columns

將由 terms 參數(最終)填充的變量名稱字符串。在 recipes::prep.recipe() 訓練該步驟之前，這是 NULL 。

skip

一個合乎邏輯的。當recipes::bake.recipe() 烘焙食譜時是否應該跳過此步驟？雖然所有操作都是在 recipes::prep.recipe() 運行時烘焙的，但某些操作可能無法對新數據進行(例如處理結果變量)。使用 skip = FALSE 時應小心。

id

該步驟特有的字符串，用於標識它。

值

recipe 的更新版本，其中新步驟添加到現有步驟(如果有)的序列中。

細節

該詞幹本身並不執行詞形還原，而是讓您提取 token 變量的詞元屬性。為了能夠使用step_lemma，您需要使用包含詞形還原的標記化方法。目前在 step_tokenize() 中使用 "spacyr" 引擎提供詞形還原，並且與 step_lemma 配合良好。

整理

當您tidy()這一步時，會出現一個帶有列terms(選擇的選擇器或變量)的tibble。

箱重

底層操作不允許使用案例權重。

也可以看看

例子

if (FALSE) {
library(recipes)

short_data <- data.frame(text = c(
  "This is a short tale,",
  "With many cats and ladies."
))

rec_spec <- recipe(~text, data = short_data) %>%
  step_tokenize(text, engine = "spacyr") %>%
  step_lemma(text) %>%
  step_tf(text)

rec_prepped <- prep(rec_spec)

bake(rec_prepped, new_data = NULL)
}