R textrecipes step_tfidf 词频-令牌的逆文档频率

step_tfidf() 创建配方步骤的规范，该步骤将 token 变量转换为包含术语 frequency-inverse 标记文档频率的多个变量。

用法

step_tfidf(
  recipe,
  ...,
  role = "predictor",
  trained = FALSE,
  columns = NULL,
  vocabulary = NULL,
  res = NULL,
  smooth_idf = TRUE,
  norm = "l1",
  sublinear_tf = FALSE,
  prefix = "tfidf",
  keep_original_cols = FALSE,
  skip = FALSE,
  id = rand_id("tfidf")
)

参数

recipe: 一个recipe 对象。该步骤将添加到此配方的操作序列中。
...: 一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息，请参阅recipes::selections()。
role: 对于此步骤创建的模型项，应为它们分配什么分析角色？默认情况下，该函数假定由原始变量创建的新列将用作模型中的预测变量。
trained: 指示预处理数量是否已估计的逻辑。
columns: 将由 terms 参数(最终)填充的变量名称字符串。在 recipes::prep.recipe() 训练该步骤之前，这是 NULL 。
vocabulary: 要考虑的字符串的字符向量。
res: 一旦 prep.recipe() 训练了此预处理步骤，用于计算术语频率的单词将存储在此处。
smooth_idf: 通过向文档频率加一来实现真正的平滑 IDF 权重，就好像看到一个额外的文档包含集合中的每个术语恰好一次。这可以防止被零除。
norm: 一个字符，定义应用于术语向量的标准化类型。默认情况下"l1"，即按文档中的字数进行缩放。必须是 c("l1"、"l2"、"none") 之一。
sublinear_tf: 逻辑上，应用次线性 term-frequency 缩放，即将术语频率替换为 1 + log(TF)。默认为 FALSE。
prefix: 将作为结果新变量的前缀的字符串。请参阅下面的注释。
keep_original_cols: 将原始变量保留在输出中的逻辑。默认为 FALSE 。
skip: 一个合乎逻辑的。当recipes::bake.recipe() 烘焙食谱时是否应该跳过此步骤？虽然所有操作都是在 recipes::prep.recipe() 运行时烘焙的，但某些操作可能无法对新数据进行(例如处理结果变量)。使用 skip = FALSE 时应小心。
id: 该步骤特有的字符串，用于标识它。

值

recipe 的更新版本，其中新步骤添加到现有步骤(如果有)的序列中。

细节

强烈建议在使用step_tfidf之前使用step_tokenfilter来限制创建的变量数量；否则你可能会遇到内存问题。一个好的策略是从较低的令牌数量开始，然后根据您想要使用的 RAM 数量增加令牌数量。

术语 frequency-inverse 文档频率是两个统计量的乘积：术语频率 (TF) 和逆文档频率 (IDF)。

术语频率衡量每个标记在每个观察中出现的次数。

逆文档频率是对单词信息量的衡量，例如，该单词在所有观察中的常见或罕见程度。如果一个词出现在所有观察中，它可能不会提供那么多的洞察力，但如果它只出现在某些观察中，它可能有助于区分观察。

IDF 定义如下： idf = log(1 + (语料库中的#个文档) /(该术语出现的#个文档))

新组件的名称以 prefix 开头，然后是变量名称，最后是由 - 分隔的标记。变量名称用零填充。例如，如果 prefix = "hash" 和 num_terms < 10 ，则它们的名称将为 hash1 - hash9 。如果 num_terms = 101 ，它们的名称将为 hash001 - hash101 。

整理

当您 tidy() 此步骤时，将返回一个包含列 terms(选择的选择器或变量)、token(标记名称)、weight(计算的 IDF 权重)的 tibble。

箱重

底层操作不允许使用案例权重。

也可以看看

step_tokenize() 将字符转换为tokens

来自标记的数字变量的其他步骤：step_lda()、step_texthash()、step_tf()、step_word_embeddings()

例子

# \donttest{
library(recipes)
library(modeldata)
data(tate_text)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_tfidf(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, tate_text)
#> # A tibble: 4,284 × 956
#>        id artist             title     year tfidf_medium_1 tfidf_medium_10
#>     <dbl> <fct>              <fct>    <dbl>          <dbl>           <dbl>
#>  1  21926 Absalon            Proposa…  1990              0               0
#>  2  20472 Auerbach, Frank    Michael   1990              0               0
#>  3  20474 Auerbach, Frank    Geoffrey  1990              0               0
#>  4  20473 Auerbach, Frank    Jake      1990              0               0
#>  5  20513 Auerbach, Frank    To the …  1990              0               0
#>  6  21389 Ayres, OBE Gillian Phaëthon  1990              0               0
#>  7 121187 Barlow, Phyllida   Untitled  1990              0               0
#>  8  19455 Baselitz, Georg    Green V…  1990              0               0
#>  9  20938 Beattie, Basil     Present…  1990              0               0
#> 10 105941 Beuys, Joseph      Joseph …  1990              0               0
#> # ℹ 4,274 more rows
#> # ℹ 950 more variables: tfidf_medium_100 <dbl>, tfidf_medium_11 <dbl>,
#> #   tfidf_medium_12 <dbl>, tfidf_medium_13 <dbl>, tfidf_medium_133 <dbl>,
#> #   tfidf_medium_14 <dbl>, tfidf_medium_15 <dbl>, tfidf_medium_151 <dbl>,
#> #   tfidf_medium_16 <dbl>, tfidf_medium_160 <dbl>,
#> #   tfidf_medium_16mm <dbl>, tfidf_medium_18 <dbl>,
#> #   tfidf_medium_19 <dbl>, tfidf_medium_2 <dbl>, tfidf_medium_20 <dbl>, …

tidy(tate_rec, number = 2)
#> # A tibble: 1 × 4
#>   terms  token weight id         
#>   <chr>  <chr>  <dbl> <chr>      
#> 1 medium NA        NA tfidf_W9mpN
tidy(tate_obj, number = 2)
#> # A tibble: 952 × 4
#>    terms  token weight id         
#>    <chr>  <chr>  <dbl> <chr>      
#>  1 medium 1       7.26 tfidf_W9mpN
#>  2 medium 10      7.26 tfidf_W9mpN
#>  3 medium 100     7.26 tfidf_W9mpN
#>  4 medium 11      7.67 tfidf_W9mpN
#>  5 medium 12      7.67 tfidf_W9mpN
#>  6 medium 13      8.36 tfidf_W9mpN
#>  7 medium 133     8.36 tfidf_W9mpN
#>  8 medium 14      6.75 tfidf_W9mpN
#>  9 medium 15      6.57 tfidf_W9mpN
#> 10 medium 151     8.36 tfidf_W9mpN
#> # ℹ 942 more rows
# }

源代码：R/tfidf.R

相关用法

注：本文由纯净天空筛选整理自等大神的英文原创作品 Term Frequency-Inverse Document Frequency of Tokens。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。