R textrecipes step_tf 代币的使用频率

step_tf() 创建配方步骤的规范，该步骤将 token 变量转换为包含令牌计数的多个变量。

用法

step_tf(
  recipe,
  ...,
  role = "predictor",
  trained = FALSE,
  columns = NULL,
  weight_scheme = "raw count",
  weight = 0.5,
  vocabulary = NULL,
  res = NULL,
  prefix = "tf",
  keep_original_cols = FALSE,
  skip = FALSE,
  id = rand_id("tf")
)

参数

recipe: 一个recipe 对象。该步骤将添加到此配方的操作序列中。
...: 一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息，请参阅recipes::selections()。
role: 对于此步骤创建的模型项，应为它们分配什么分析角色？默认情况下，该函数假定由原始变量创建的新列将用作模型中的预测变量。
trained: 指示预处理数量是否已估计的逻辑。
columns: 将由 terms 参数(最终)填充的变量名称字符串。在 recipes::prep.recipe() 训练该步骤之前，这是 NULL 。
weight_scheme: 确定术语频率计算的加权方案的字符。必须是 "binary"、"raw count"、"term frequency"、"log normalization" 或 "double normalization" 之一。默认为"raw count"。
weight: 如果weight_scheme 设置为"double normalization"，则使用数字权重。默认为 0.5。
vocabulary: 要考虑的字符串的字符向量。
res: 一旦 prep.recipe() 训练了此预处理步骤，用于计算术语频率的单词将存储在此处。
prefix: 将作为结果新变量的前缀的字符串。请参阅下面的注释。
keep_original_cols: 将原始变量保留在输出中的逻辑。默认为 FALSE 。
skip: 一个合乎逻辑的。当recipes::bake.recipe() 烘焙食谱时是否应该跳过此步骤？虽然所有操作都是在 recipes::prep.recipe() 运行时烘焙的，但某些操作可能无法对新数据进行(例如处理结果变量)。使用 skip = FALSE 时应小心。
id: 该步骤特有的字符串，用于标识它。

值

recipe 的更新版本，其中新步骤添加到现有步骤(如果有)的序列中。

细节

强烈建议在使用 step_tf 之前使用 step_tokenfilter 来限制创建的变量数量，否则可能会遇到内存问题。一个好的策略是从较低的令牌数量开始，然后根据您想要使用的 RAM 数量增加。

词频是每个标记在每个观察中出现的次数的权重。计算重量的方法有多种，此步骤可以通过多种方式来完成。将参数 weight_scheme 设置为 "binary" 将产生一组二进制变量，表示观察中是否存在标记。 "raw count" 将计算观察中出现标记的次数。 "term frequency" 会将计数除以文档中的单词总数，以限制文档长度的影响，因为较长的文档往往会出现单词出现的次数更多，但百分比不一定更高。 "log normalization" 取 1 的对数加上计数，加 1 是为了避免取 0 的对数。最后 "double normalization" 是原始频率除以文档中最常出现的术语的原始频率。然后将其乘以weight，并将weight 添加到结果中。这样做也是为了防止对较长文档的偏见。

新组件的名称以 prefix 开头，然后是变量名称，最后是由 - 分隔的标记。变量名称用零填充。例如，如果 prefix = "hash" 和 num_terms < 10 ，则它们的名称将为 hash1 - hash9 。如果 num_terms = 101 ，它们的名称将为 hash001 - hash101 。

整理

当您tidy()此步骤时，会出现一个包含列terms(选择的选择器或变量)和value(加权方案)的小标题。

调整参数

此步骤有 2 个调整参数：

weight_scheme：词频权重法(类型：字符，默认：原始计数)
weight ：权重(类型：double，默认值：0.5)

箱重

底层操作不允许使用案例权重。

也可以看看

step_tokenize() 将字符转换为tokens

来自标记的数字变量的其他步骤：step_lda()、step_texthash()、step_tfidf()、step_word_embeddings()

例子

# \donttest{
library(recipes)
library(modeldata)
data(tate_text)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_tf(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, tate_text)
#> # A tibble: 4,284 × 956
#>        id artist        title  year tf_medium_1 tf_medium_10 tf_medium_100
#>     <dbl> <fct>         <fct> <dbl>       <int>        <int>         <int>
#>  1  21926 Absalon       Prop…  1990           0            0             0
#>  2  20472 Auerbach, Fr… Mich…  1990           0            0             0
#>  3  20474 Auerbach, Fr… Geof…  1990           0            0             0
#>  4  20473 Auerbach, Fr… Jake   1990           0            0             0
#>  5  20513 Auerbach, Fr… To t…  1990           0            0             0
#>  6  21389 Ayres, OBE G… Phaë…  1990           0            0             0
#>  7 121187 Barlow, Phyl… Unti…  1990           0            0             0
#>  8  19455 Baselitz, Ge… Gree…  1990           0            0             0
#>  9  20938 Beattie, Bas… Pres…  1990           0            0             0
#> 10 105941 Beuys, Joseph Jose…  1990           0            0             0
#> # ℹ 4,274 more rows
#> # ℹ 949 more variables: tf_medium_11 <int>, tf_medium_12 <int>,
#> #   tf_medium_13 <int>, tf_medium_133 <int>, tf_medium_14 <int>,
#> #   tf_medium_15 <int>, tf_medium_151 <int>, tf_medium_16 <int>,
#> #   tf_medium_160 <int>, tf_medium_16mm <int>, tf_medium_18 <int>,
#> #   tf_medium_19 <int>, tf_medium_2 <int>, tf_medium_20 <int>,
#> #   tf_medium_2000 <int>, tf_medium_201 <int>, tf_medium_21 <int>, …

tidy(tate_rec, number = 2)
#> # A tibble: 1 × 3
#>   terms  value id      
#>   <chr>  <chr> <chr>   
#> 1 medium NA    tf_kCw2O
tidy(tate_obj, number = 2)
#> # A tibble: 1 × 3
#>   terms  value     id      
#>   <chr>  <chr>     <chr>   
#> 1 medium raw count tf_kCw2O
# }

源代码：R/tf.R

相关用法

注：本文由纯净天空筛选整理自等大神的英文原创作品 Term frequency of Tokens。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。