当前位置: 首页>>代码示例 >>用法及示例精选 >>正文


R textrecipes step_stopwords 过滤标记变量的停用词


step_stopwords() 创建配方步骤的规范,该步骤将过滤 token 变量中的停用词。

用法

step_stopwords(
  recipe,
  ...,
  role = NA,
  trained = FALSE,
  columns = NULL,
  language = "en",
  keep = FALSE,
  stopword_source = "snowball",
  custom_stopword_source = NULL,
  skip = FALSE,
  id = rand_id("stopwords")
)

参数

recipe

一个recipe 对象。该步骤将添加到此配方的操作序列中。

...

一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息,请参阅recipes::selections()

role

由于没有创建新变量,因此此步骤未使用。

trained

指示预处理数量是否已估计的逻辑。

columns

将由 terms 参数(最终)填充的变量名称字符串。在 recipes::prep.recipe() 训练该步骤之前,这是 NULL

language

根据 ISO 639-1 编码方案指示停用词语言的字符。

keep

一个合乎逻辑的。指定是保留停用词还是丢弃它们。

stopword_source

指示停用词源的字符,如 stopwords::stopwords_getsources 中列出的。

custom_stopword_source

一个字符向量,用于指示满足用户特定问题的自定义单词列表。

skip

一个合乎逻辑的。当recipes::bake.recipe() 烘焙食谱时是否应该跳过此步骤?虽然所有操作都是在 recipes::prep.recipe() 运行时烘焙的,但某些操作可能无法对新数据进行(例如处理结果变量)。使用 skip = FALSE 时应小心。

id

该步骤特有的字符串,用于标识它。

recipe 的更新版本,其中新步骤添加到现有步骤(如果有)的序列中。

细节

停用词是有时在自然语言处理任务之前被删除的单词。虽然停用词通常是指该语言中最常见的单词,但没有通用的停用词列表。

参数 custom_stopword_source 允许您传递字符向量进行过滤。使用 keep 参数,可以指定保留单词而不是删除单词,从而允许您使用这两个参数的组合来选择单词。

整理

当您tidy()此步骤时,会出现一个包含列terms(选择的选择器或变量)、value(停用词列表名称)和keep(是否删除或保留停用词)的小标题。

箱重

底层操作不允许使用案例权重。

也可以看看

step_tokenize() 将字符转换为tokens

令牌修改的其他步骤: step_lemma()step_ngram()step_pos_filter()step_stem()step_tokenfilter()step_tokenmerge()

例子

library(recipes)
library(modeldata)
data(tate_text)
tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_stopwords(medium)

tate_obj <- tate_rec %>%
  prep()

bake(tate_obj, new_data = NULL, medium) %>%
  slice(1:2)
#> # A tibble: 2 × 1
#>       medium
#>    <tknlist>
#> 1 [6 tokens]
#> 2 [2 tokens]

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [2 tokens]
#> # Unique Tokens: 2

tidy(tate_rec, number = 2)
#> # A tibble: 1 × 4
#>   terms  value keep  id             
#>   <chr>  <chr> <lgl> <chr>          
#> 1 medium NA    NA    stopwords_Mn2FO
tidy(tate_obj, number = 2)
#> # A tibble: 1 × 4
#>   terms  value    keep  id             
#>   <chr>  <chr>    <lgl> <chr>          
#> 1 medium snowball FALSE stopwords_Mn2FO

# With a custom stop words list

tate_rec <- recipe(~., data = tate_text) %>%
  step_tokenize(medium) %>%
  step_stopwords(medium, custom_stopword_source = c("twice", "upon"))
tate_obj <- tate_rec %>%
  prep(traimomg = tate_text)

bake(tate_obj, new_data = NULL) %>%
  slice(2) %>%
  pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3
源代码:R/stopwords.R

相关用法


注:本文由纯净天空筛选整理自大神的英文原创作品 Filtering of Stop Words for Tokens Variables。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。