step_stopwords()
创建配方步骤的规范,该步骤将过滤 token
变量中的停用词。
用法
step_stopwords(
recipe,
...,
role = NA,
trained = FALSE,
columns = NULL,
language = "en",
keep = FALSE,
stopword_source = "snowball",
custom_stopword_source = NULL,
skip = FALSE,
id = rand_id("stopwords")
)
参数
- recipe
-
一个recipe 对象。该步骤将添加到此配方的操作序列中。
- ...
-
一个或多个选择器函数用于选择受该步骤影响的变量。有关更多详细信息,请参阅
recipes::selections()
。 - role
-
由于没有创建新变量,因此此步骤未使用。
- trained
-
指示预处理数量是否已估计的逻辑。
- columns
-
将由
terms
参数(最终)填充的变量名称字符串。在recipes::prep.recipe()
训练该步骤之前,这是NULL
。 - language
-
根据 ISO 639-1 编码方案指示停用词语言的字符。
- keep
-
一个合乎逻辑的。指定是保留停用词还是丢弃它们。
- stopword_source
-
指示停用词源的字符,如
stopwords::stopwords_getsources
中列出的。 - custom_stopword_source
-
一个字符向量,用于指示满足用户特定问题的自定义单词列表。
- skip
-
一个合乎逻辑的。当
recipes::bake.recipe()
烘焙食谱时是否应该跳过此步骤?虽然所有操作都是在recipes::prep.recipe()
运行时烘焙的,但某些操作可能无法对新数据进行(例如处理结果变量)。使用skip = FALSE
时应小心。 - id
-
该步骤特有的字符串,用于标识它。
细节
停用词是有时在自然语言处理任务之前被删除的单词。虽然停用词通常是指该语言中最常见的单词,但没有通用的停用词列表。
参数 custom_stopword_source
允许您传递字符向量进行过滤。使用 keep
参数,可以指定保留单词而不是删除单词,从而允许您使用这两个参数的组合来选择单词。
整理
当您tidy()
此步骤时,会出现一个包含列terms
(选择的选择器或变量)、value
(停用词列表名称)和keep
(是否删除或保留停用词)的小标题。
也可以看看
step_tokenize()
将字符转换为tokens
令牌修改的其他步骤: step_lemma()
、 step_ngram()
、 step_pos_filter()
、 step_stem()
、 step_tokenfilter()
、 step_tokenmerge()
例子
library(recipes)
library(modeldata)
data(tate_text)
tate_rec <- recipe(~., data = tate_text) %>%
step_tokenize(medium) %>%
step_stopwords(medium)
tate_obj <- tate_rec %>%
prep()
bake(tate_obj, new_data = NULL, medium) %>%
slice(1:2)
#> # A tibble: 2 × 1
#> medium
#> <tknlist>
#> 1 [6 tokens]
#> 2 [2 tokens]
bake(tate_obj, new_data = NULL) %>%
slice(2) %>%
pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [2 tokens]
#> # Unique Tokens: 2
tidy(tate_rec, number = 2)
#> # A tibble: 1 × 4
#> terms value keep id
#> <chr> <chr> <lgl> <chr>
#> 1 medium NA NA stopwords_Mn2FO
tidy(tate_obj, number = 2)
#> # A tibble: 1 × 4
#> terms value keep id
#> <chr> <chr> <lgl> <chr>
#> 1 medium snowball FALSE stopwords_Mn2FO
# With a custom stop words list
tate_rec <- recipe(~., data = tate_text) %>%
step_tokenize(medium) %>%
step_stopwords(medium, custom_stopword_source = c("twice", "upon"))
tate_obj <- tate_rec %>%
prep(traimomg = tate_text)
bake(tate_obj, new_data = NULL) %>%
slice(2) %>%
pull(medium)
#> <textrecipes_tokenlist[1]>
#> [1] [3 tokens]
#> # Unique Tokens: 3
相关用法
- R textrecipes step_stem 令牌变量的词干
- R textrecipes step_sequence_onehot 令牌的位置 One-Hot 编码
- R textrecipes step_lemma 标记变量的词形还原
- R textrecipes step_tokenize_wordpiece 字符变量的Wordpiece标记化
- R textrecipes step_tokenfilter 根据词频过滤标记
- R textrecipes step_text_normalization 字符变量的标准化
- R textrecipes step_clean_names 干净的变量名称
- R textrecipes step_tokenize_sentencepiece 字符变量的句子标记化
- R textrecipes step_tokenmerge 将多个令牌变量合并为一个
- R textrecipes step_tf 代币的使用频率
- R textrecipes step_tokenize 字符变量的标记化
- R textrecipes step_tfidf 词频-令牌的逆文档频率
- R textrecipes step_word_embeddings 令牌的预训练词嵌入
- R textrecipes step_textfeature 计算文本特征集
- R textrecipes step_texthash 代币的特征哈希
- R textrecipes step_ngram 从标记变量生成 n-gram
- R textrecipes step_pos_filter 令牌变量的语音过滤部分
- R textrecipes step_untokenize 令牌变量的取消令牌化
- R textrecipes step_lda 计算代币的LDA维度估计
- R textrecipes step_tokenize_bpe 字符变量的 BPE 标记化
- R textrecipes step_clean_levels 清晰的分类级别
- R textrecipes step_dummy_hash 通过特征哈希的指示变量
- R textrecipes show_tokens 显示配方的令牌输出
- R textrecipes tokenlist 创建令牌对象
- R update_PACKAGES 更新现有的 PACKAGES 文件
注:本文由纯净天空筛选整理自等大神的英文原创作品 Filtering of Stop Words for Tokens Variables。非经特殊声明,原始代码版权归原作者所有,本译文未经允许或授权,请勿转载或复制。