Python pyspark sentences用法及代码示例

本文简要介绍 pyspark.sql.functions.sentences 的用法。

用法: pyspark.sql.functions.sentences(string, language=None, country=None)

将字符串拆分为句子数组，其中每个句子都是单词数组。 ‘language’ 和 ‘country’ 参数是可选的，如果省略，则使用默认区域设置。

版本 3.2.0 中的新函数。

参数：

string： Column 或 str: 要拆分的字符串
language： Column 或 str，可选: 当地语言
country： Column 或 str，可选: 语言环境的国家

例子：

>>> df = spark.createDataFrame([["This is an example sentence."]], ["string"])
>>> df.select(sentences(df.string, lit("en"), lit("US"))).show(truncate=False)
+-----------------------------------+
|sentences(string, en, US)          |
+-----------------------------------+
|[[This, is, an, example, sentence]]|
+-----------------------------------+

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.functions.sentences。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。