当前位置: 首页>>代码示例 >>用法及示例精选 >>正文

Python cudf.core.column.string.StringMethods.ngrams_tokenize用法及代码示例


用法:

StringMethods.ngrams_tokenize(n: int = 2, delimiter: str = ' ', separator: str = '_') → SeriesOrIndex

使用每个字符串中的标记生成n-grams。这将对每个字符串进行标记，然后为每个字符串生成 ngram。

参数：

n：整数，默认 2。

n-gram 的度数(连续标记的数量)。

delimiter：str，默认为空格。

用于定位每个字符串的分割点的字符。

sep：str，默认为‘_’。

n-gram 中的标记之间使用的分隔符。

返回：

对象的系列或索引。

例子：

>>> import cudf
>>> ser = cudf.Series(['this is the', 'best book'])
>>> ser.str.ngrams_tokenize(n=2, sep='_')
0      this_is
1       is_the
2    best_book
dtype: object

相关用法


注：本文由纯净天空筛选整理自rapids.ai大神的英文原创作品 cudf.core.column.string.StringMethods.ngrams_tokenize。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。