R textrecipes step_stem 令牌变量的词干

step_stem() 创建配方步骤的规范，该步骤将转换 token 变量以获取其词干版本。

用法

step_stem(
  recipe,
  ...,
  role = NA,
  trained = FALSE,
  columns = NULL,
  options = list(),
  custom_stemmer = NULL,
  skip = FALSE,
  id = rand_id("stem")
)

参数

recipe: 一个recipe 对象。该步骤将添加到此配方的操作序列中。
...: 一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息，请参阅recipes::selections()。
role: 由于没有创建新变量，因此此步骤未使用。
trained: 指示预处理数量是否已估计的逻辑。
columns: 将由 terms 参数(最终)填充的变量名称字符串。在 recipes::prep.recipe() 训练该步骤之前，这是 NULL 。
options: 传递给词干分析器函数的选项列表。
custom_stemmer: 自定义词干提取函数。如果未提供，则默认为"SnowballC"。
skip: 一个合乎逻辑的。当recipes::bake.recipe() 烘焙食谱时是否应该跳过此步骤？虽然所有操作都是在 recipes::prep.recipe() 运行时烘焙的，但某些操作可能无法对新数据进行(例如处理结果变量)。使用 skip = FALSE 时应小心。
id: 该步骤特有的字符串，用于标识它。

值

recipe 的更新版本，其中新步骤添加到现有步骤(如果有)的序列中。

细节

根据上下文，单词往往有不同的形式，例如组织、组织和组织。在许多情况下，将这些单词压缩为一个单词以减少单词池是有益的。词干提取是使用一组启发式方法截断单词末尾的行为。

请注意，词干提取只会在单词末尾完成，因此在 ngram 或句子上无法可靠地工作。

整理

当您tidy()此步骤时，会出现一个包含列terms(选择的选择器或变量)和is_custom_stemmer(指示是否使用了自定义词干分析器)的小标题。

箱重

底层操作不允许使用案例权重。

也可以看看

step_tokenize() 将字符转换为tokens

令牌修改的其他步骤： step_lemma() 、 step_ngram() 、 step_pos_filter() 、 step_stopwords() 、 step_tokenfilter() 、 step_tokenmerge()

例子

library(recipes)
library(modeldata)
data(tate_text)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_stem(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, new_data = NULL, medium) %>%
  slice(1:2)
#> # A tibble: 2 × 1
#>       medium
#>    <tknlist>
#> 1 [8 tokens]
#> 2 [3 tokens]

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3

tidy(tate_rec, number = 2)
#> # A tibble: 1 × 3
#>   terms  is_custom_stemmer id        
#>   <chr>  <lgl>             <chr>     
#> 1 medium FALSE             stem_dt5nr
tidy(tate_obj, number = 2)
#> # A tibble: 1 × 3
#>   terms  is_custom_stemmer id        
#>   <chr>  <lgl>             <chr>     
#> 1 medium FALSE             stem_dt5nr

# Using custom stemmer. Here a custom stemmer that removes the last letter
# if it is a "s".
remove_s <- function(x) gsub("s$", "", x)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_stem(medium, custom_stemmer = remove_s)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, new_data = NULL, medium) %>%
  slice(1:2)
#> # A tibble: 2 × 1
#>       medium
#>    <tknlist>
#> 1 [8 tokens]
#> 2 [3 tokens]

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3

源代码：R/stem.R

相关用法

注：本文由纯净天空筛选整理自等大神的英文原创作品 Stemming of Token Variables。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。