R textrecipes step_tokenfilter 根据词频过滤标记

step_tokenfilter() 创建配方步骤的规范，该步骤将转换 token 变量以根据频率进行过滤。

用法

step_tokenfilter(
  recipe,
  ...,
  role = NA,
  trained = FALSE,
  columns = NULL,
  max_times = Inf,
  min_times = 0,
  percentage = FALSE,
  max_tokens = 100,
  filter_fun = NULL,
  res = NULL,
  skip = FALSE,
  id = rand_id("tokenfilter")
)

参数

recipe

一个recipe 对象。该步骤将添加到此配方的操作序列中。

...

一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息，请参阅recipes::selections()。

role

由于没有创建新变量，因此此步骤未使用。

trained

指示预处理数量是否已估计的逻辑。

columns

将由 terms 参数(最终)填充的变量名称字符串。在 recipes::prep.recipe() 训练该步骤之前，这是 NULL 。

max_times

一个整数。单词被删除之前可以出现的最大次数。

min_times

一个整数。单词被删除之前可以出现的最少次数。

percentage

一个合乎逻辑的。 max_times 和 min_times 应该解释为百分比而不是计数。

max_tokens

一个整数。在 max_times 和 min_times 完成过滤后，仅保留顶部的 max_tokens 标记。默认为 100。

filter_fun

一个函数。该函数应采用字符向量，并返回相同长度的逻辑向量。该函数将应用于数据集的每个观察。默认为 NULL 。如果使用此参数，所有其他参数将被忽略。

res

一旦通过 prep.recipe() 训练此预处理步骤，将保留的单词将存储在此处。

skip

一个合乎逻辑的。当recipes::bake.recipe() 烘焙食谱时是否应该跳过此步骤？虽然所有操作都是在 recipes::prep.recipe() 运行时烘焙的，但某些操作可能无法对新数据进行(例如处理结果变量)。使用 skip = FALSE 时应小心。

id

该步骤特有的字符串，用于标识它。

值

recipe 的更新版本，其中新步骤添加到现有步骤(如果有)的序列中。

细节

此步骤允许您通过过滤语料库中出现的标记来限制您正在查看的标记。如果标记在数据中出现过多或过少，您可以将其排除。可以使用 max_times 和 min_times 将其指定为计数，也可以通过将 percentage 设置为 TRUE 将其指定为百分比。此外，还可以过滤以仅使用最常用的 max_tokens 标记。如果max_tokens 设置为Inf，则将使用所有令牌。当标记是单词或三元组时，这通常会导致非常大的数据集。一个好的策略是从较低的令牌数量开始，然后根据您想要使用的 RAM 数量增加。

强烈建议在使用step_tf或step_tfidf之前进行过滤，以限制创建的变量数量。

整理

当您tidy()此步骤时，会出现一个包含列terms(选择的选择器或变量)和value(唯一标记的数量)的小标题。

调整参数

这一步有3个调整参数：

• max_times：最大令牌频率(类型：整数，默认值：Inf)

• min_times：最小令牌频率(类型：整数，默认值：0)

• max_tokens : # 保留的令牌(类型：整数，默认值：100)

箱重

底层操作不允许使用案例权重。

也可以看看

例子

library(recipes)
library(modeldata)
data(tate_text)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_tokenfilter(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, new_data = NULL, medium) %>%
  slice(1:2)
#> # A tibble: 2 × 1
#>       medium
#>    <tknlist>
#> 1 [8 tokens]
#> 2 [3 tokens]

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3

tidy(tate_rec, number = 2)
#> # A tibble: 1 × 3
#>   terms  value id               
#>   <chr>  <int> <chr>            
#> 1 medium    NA tokenfilter_iSSZG
tidy(tate_obj, number = 2)
#> # A tibble: 1 × 3
#>   terms  value id               
#>   <chr>  <int> <chr>            
#> 1 medium   952 tokenfilter_iSSZG