Python sklearn HashingVectorizer用法及代码示例

本文简要介绍python语言中 sklearn.feature_extraction.text.HashingVectorizer 的用法。

用法:

class sklearn.feature_extraction.text.HashingVectorizer(*, input='content', encoding='utf-8', decode_error='strict', strip_accents=None, lowercase=True, preprocessor=None, tokenizer=None, stop_words=None, token_pattern='(?u)\\b\\w\\w+\\b', ngram_range=(1, 1), analyzer='word', n_features=1048576, binary=False, norm='l2', alternate_sign=True, dtype=<class 'numpy.float64'>)

将文本文档的集合转换为标记出现的矩阵。

它将文本文档的集合转换为 scipy.sparse 矩阵，其中保存标记出现计数(或二进制出现信息)，如果norm='l1'，则可能标准化为标记频率，或者如果norm='l2'，则投影到欧几里得单位球上。

此文本矢量化器实现使用散列技巧来查找标记字符串名称以进行整数索引映射。

这种策略有几个优点：

• 它的内存非常低，可扩展到大型数据集，因为不需要在内存中存储词汇字典。
• pickle 和un-pickle 很快，因为它除了构造函数参数之外没有任何状态。
• 它可以用于流式传输(部分拟合)或并行管道，因为在拟合期间没有计算状态。

还有一些缺点(与使用带有内存词汇表的 CountVectorizer 相比)：

• 无法计算逆变换(从特征索引到字符串特征名称)，这在尝试反省哪些特征对模型最重要时可能会成为问题。
• 可能存在冲突：不同的标记可以映射到相同的特征索引。但是在实践中，如果 n_features 足够大(例如文本分类问题为 2 ** 18)，这很少会成为问题。
• 没有 IDF 加权，因为这会使转换器有状态。

使用的散列函数是有符号的 32 位版本的 Murmurhash3。

在用户指南中阅读更多信息。

参数：

input：{‘filename’, ‘file’, ‘content’}，默认='内容'

• 如果 'filename' ，作为参数传递给 fit 的序列应该是需要读取以获取要分析的原始内容的文件名列表。
• 如果 'file' ，则序列项必须有一个 ‘read’ 方法(file-like 对象)，该方法被调用以获取内存中的字节。
• 如果 'content' ，则输入应为字符串或字节类型的项目序列。

encoding：str，默认='utf-8'

如果要分析字节或文件，则使用此编码进行解码。

decode_error：{‘strict’, ‘ignore’, ‘replace’}，默认='严格'

如果要分析的字节序列包含不属于给定 encoding 的字符，请说明如何处理。默认情况下，它是‘strict’，这意味着将引发UnicodeDecodeError。其他值为‘ignore’ 和‘replace’。

strip_accents：{‘ascii’, ‘unicode’}，默认=无

在预处理步骤中删除重音并执行其他字符规范化。 ‘ascii’ 是一种快速方法，仅适用于具有直接 ASCII 映射的字符。 ‘unicode’ 是一种稍慢的方法，适用于任何字符。无(默认)什么都不做。

‘ascii’ 和 ‘unicode’ 都使用 unicodedata.normalize 的 NFKD 标准化。

lowercase：布尔，默认=真

在标记化之前将所有字符转换为小写。

preprocessor：可调用，默认=无

覆盖预处理(字符串转换)阶段，同时保留标记化和n-grams 生成步骤。仅当 analyzer 不可调用时才适用。

tokenizer：可调用，默认=无

覆盖字符串标记化步骤，同时保留预处理和n-grams 生成步骤。仅适用于 analyzer == 'word' 。

stop_words：{‘english’}，列表，默认=无

如果‘english’，则使用内置的英语停用词列表。 ‘english’ 有几个已知问题，您应该考虑替代方案(请参阅使用停用词)。

如果是列表，则假定该列表包含停用词，所有这些都将从生成的标记中删除。仅适用于 analyzer == 'word' 。

token_pattern：str, 默认=r”(?u)\b\w\w+\b”

表示构成 “token” 的正则表达式，仅在 analyzer == 'word' 时使用。默认的正则表达式选择 2 个或更多字母数字字符的标记(标点符号被完全忽略并始终被视为标记分隔符)。

如果 token_pattern 中有捕获组，则捕获的组内容，而不是整个匹配项，将成为令牌。最多允许一个捕获组。

ngram_range：元组 (min_n, max_n), 默认=(1, 1)

n-values范围的上下边界，用于提取不同的n-grams。将使用所有满足 min_n <= n <= max_n 的 n 值。例如，(1, 1) 的 ngram_range 仅表示一元组，(1, 2) 表示一元组和二元组，而(2, 2) 表示仅二元组。仅在 analyzer 不可调用时适用。

analyzer：{‘word’, ‘char’, ‘char_wb’} 或可调用，默认='word'

特征是由单词还是字符组成n-grams。选项 ‘char_wb’ 仅从单词边界内的文本创建字符 n-grams； n-grams 在单词的边用空格填充。

如果传递了一个可调用对象，则它用于从未处理的原始输入中提取特征序列。

n_features：整数，默认=(2 ** 20)

输出矩阵中的特征(列)数。少量特征可能会导致哈希冲突，但大量特征会导致线性学习器中的系数维度较大。

binary：布尔，默认=假

如果为 True，则所有非零计数都设置为 1。这对于模拟二进制事件而不是整数计数的离散概率模型很有用。

norm：{‘l1’, ‘l2’}，默认='l2'

用于标准化术语向量的范数。 None 表示没有标准化。

alternate_sign：布尔，默认=真

当为 True 时，将交替符号添加到特征中，以近似保存散列空间中的内积，即使对于小的 n_features 也是如此。这种方法类似于稀疏随机投影。

dtype：类型，默认=np.float64

fit_transform() 或 transform() 返回的矩阵类型。

例子：

>>> from sklearn.feature_extraction.text import HashingVectorizer
>>> corpus = [
...     'This is the first document.',
...     'This document is the second document.',
...     'And this is the third one.',
...     'Is this the first document?',
... ]
>>> vectorizer = HashingVectorizer(n_features=2**4)
>>> X = vectorizer.fit_transform(corpus)
>>> print(X.shape)
(4, 16)