R textrecipes step_lemma 标记变量的词形还原

step_lemma() 创建配方步骤的规范，该步骤将提取 token 变量的词形还原。

用法

step_lemma(
  recipe,
  ...,
  role = NA,
  trained = FALSE,
  columns = NULL,
  skip = FALSE,
  id = rand_id("lemma")
)

参数

recipe

一个recipe 对象。该步骤将添加到此配方的操作序列中。

...

一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息，请参阅recipes::selections()。

role

由于没有创建新变量，因此此步骤未使用。

trained

指示预处理数量是否已估计的逻辑。

columns

将由 terms 参数(最终)填充的变量名称字符串。在 recipes::prep.recipe() 训练该步骤之前，这是 NULL 。

skip

一个合乎逻辑的。当recipes::bake.recipe() 烘焙食谱时是否应该跳过此步骤？虽然所有操作都是在 recipes::prep.recipe() 运行时烘焙的，但某些操作可能无法对新数据进行(例如处理结果变量)。使用 skip = FALSE 时应小心。

id

该步骤特有的字符串，用于标识它。

值

recipe 的更新版本，其中新步骤添加到现有步骤(如果有)的序列中。

细节

该词干本身并不执行词形还原，而是让您提取 token 变量的词元属性。为了能够使用step_lemma，您需要使用包含词形还原的标记化方法。目前在 step_tokenize() 中使用 "spacyr" 引擎提供词形还原，并且与 step_lemma 配合良好。

整理

当您tidy()这一步时，会出现一个带有列terms(选择的选择器或变量)的tibble。

箱重

底层操作不允许使用案例权重。

也可以看看

例子

if (FALSE) {
library(recipes)

short_data <- data.frame(text = c(
  "This is a short tale,",
  "With many cats and ladies."
))

rec_spec <- recipe(~text, data = short_data) %>%
  step_tokenize(text, engine = "spacyr") %>%
  step_lemma(text) %>%
  step_tf(text)

rec_prepped <- prep(rec_spec)

bake(rec_prepped, new_data = NULL)
}