当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


R textrecipes step_texthash 代币的特征哈希


step_texthash() 创建配方步骤的规范,该步骤将使用哈希技巧将 token 变量转换为多个数字变量。

用法

step_texthash(
  recipe,
  ...,
  role = "predictor",
  trained = FALSE,
  columns = NULL,
  signed = TRUE,
  num_terms = 1024L,
  prefix = "texthash",
  keep_original_cols = FALSE,
  skip = FALSE,
  id = rand_id("texthash")
)

参数

recipe

一个recipe 对象。该步骤将添加到此配方的操作序列中。

...

一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息,请参阅recipes::selections()

role

对于此步骤创建的模型项,应为它们分配什么分析角色?默认情况下,该函数假定由原始变量创建的新列将用作模型中的预测变量。

trained

指示预处理数量是否已估计的逻辑。

columns

将由 terms 参数(最终)填充的变量名称字符串。在 recipes::prep.recipe() 训练该步骤之前,这是 NULL

signed

逻辑值,指示是否使用带符号的 hash-function 来减少散列时的冲突。默认为 TRUE。

num_terms

一个整数,要输出的变量数量。默认为 1024。

prefix

将作为结果新变量的前缀的字符串。请参阅下面的注释。

keep_original_cols

将原始变量保留在输出中的逻辑。默认为 FALSE

skip

一个合乎逻辑的。当recipes::bake.recipe() 烘焙食谱时是否应该跳过此步骤?虽然所有操作都是在 recipes::prep.recipe() 运行时烘焙的,但某些操作可能无法对新数据进行(例如处理结果变量)。使用 skip = FALSE 时应小心。

id

该步骤特有的字符串,用于标识它。

recipe 的更新版本,其中新步骤添加到现有步骤(如果有)的序列中。

细节

特征散列或散列技巧是将文本变量转换为一组新的数值变量。这是通过对令牌应用哈希函数并使用哈希值作为特征索引来完成的。这允许文本的低内存表示。此实现是使用 MurmurHash3 方法完成的。

参数 num_terms 控制哈希函数将映射到的索引数量。这是此转换的调整参数。由于哈希函数可以将两个不同的标记映射到同一索引,因此 num_terms 的值越高,冲突的可能性就越低。

新组件的名称以 prefix 开头,然后是变量名称,最后是由 - 分隔的标记。变量名称用零填充。例如,如果 prefix = "hash"num_terms < 10 ,则它们的名称将为 hash1 - hash9 。如果 num_terms = 101 ,它们的名称将为 hash001 - hash101

整理

当您tidy()此步骤时,会出现一个包含列terms(选定的选择器或变量)和value(术语数)的小标题。

调整参数

此步骤有 2 个调整参数:

  • signed:签名哈希值(类型:逻辑,默认值:TRUE)

  • num_terms : # 哈希特征(类型:整数,默认值:1024)

箱重

底层操作不允许使用案例权重。

参考

基利安·温伯格;阿尼班·达斯古普塔;约翰·兰福德;亚历克斯·斯莫拉;乔什·阿滕伯格 (2009)。

也可以看看

step_tokenize() 将字符转换为tokens step_text_normalization() 以执行文本规范化。

来自标记的数字变量的其他步骤:step_lda()step_tfidf()step_tf()step_word_embeddings()

例子

library(recipes)
library(modeldata)
data(tate_text)

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_tokenfilter(medium, max_tokens = 10) %>%
  step_texthash(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, tate_text)
#> # A tibble: 4,284 × 1,028
#>        id artist     title  year texthash_medium_0001 texthash_medium_0002
#>     <dbl> <fct>      <fct> <dbl>                <int>                <int>
#>  1  21926 Absalon    Prop…  1990                    0                    0
#>  2  20472 Auerbach,… Mich…  1990                    0                    0
#>  3  20474 Auerbach,… Geof…  1990                    0                    0
#>  4  20473 Auerbach,… Jake   1990                    0                    0
#>  5  20513 Auerbach,… To t…  1990                    0                    0
#>  6  21389 Ayres, OB… Phaë…  1990                    0                    0
#>  7 121187 Barlow, P… Unti…  1990                    0                    0
#>  8  19455 Baselitz,… Gree…  1990                    0                    0
#>  9  20938 Beattie, … Pres…  1990                    0                    0
#> 10 105941 Beuys, Jo… Jose…  1990                    0                    0
#> # ℹ 4,274 more rows
#> # ℹ 1,022 more variables: texthash_medium_0003 <int>,
#> #   texthash_medium_0004 <int>, texthash_medium_0005 <int>,
#> #   texthash_medium_0006 <int>, texthash_medium_0007 <int>,
#> #   texthash_medium_0008 <int>, texthash_medium_0009 <int>,
#> #   texthash_medium_0010 <int>, texthash_medium_0011 <int>,
#> #   texthash_medium_0012 <int>, texthash_medium_0013 <int>, …

tidy(tate_rec, number = 3)
#> # A tibble: 1 × 4
#>   terms  value length id            
#>   <chr>  <lgl>  <int> <chr>         
#> 1 medium NA        NA texthash_DMgi5
tidy(tate_obj, number = 3)
#> # A tibble: 1 × 4
#>   terms  value length id            
#>   <chr>  <lgl>  <int> <chr>         
#> 1 medium TRUE    1024 texthash_DMgi5
源代码:R/texthash.R

相关用法


注:本文由纯净天空筛选整理自大神的英文原创作品 Feature Hashing of Tokens。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。