Python pyspark sentences用法及代碼示例

本文簡要介紹 pyspark.sql.functions.sentences 的用法。

用法: pyspark.sql.functions.sentences(string, language=None, country=None)

將字符串拆分為句子數組，其中每個句子都是單詞數組。 ‘language’ 和 ‘country’ 參數是可選的，如果省略，則使用默認區域設置。

版本 3.2.0 中的新函數。

參數：

string： Column 或 str: 要拆分的字符串
language： Column 或 str，可選: 當地語言
country： Column 或 str，可選: 語言環境的國家

例子：

>>> df = spark.createDataFrame([["This is an example sentence."]], ["string"])
>>> df.select(sentences(df.string, lit("en"), lit("US"))).show(truncate=False)
+-----------------------------------+
|sentences(string, en, US)          |
+-----------------------------------+
|[[This, is, an, example, sentence]]|
+-----------------------------------+

相關用法

注：本文由純淨天空篩選整理自spark.apache.org大神的英文原創作品 pyspark.sql.functions.sentences。非經特殊聲明，原始代碼版權歸原作者所有，本譯文未經允許或授權，請勿轉載或複製。