Python pyspark to_avro用法及代码示例

本文简要介绍 pyspark.sql.avro.functions.to_avro 的用法。

用法: pyspark.sql.avro.functions.to_avro(data, jsonFormatSchema='')

将列转换为 avro 格式的二进制文件。

3.0.0 版中的新函数。

参数：

data： Column 或 str: 数据列。
jsonFormatSchema：str，可选: 用户指定的 JSON 字符串格式的输出 avro 模式。

注意：

自 Spark 2.4 以来，Avro 是内置但外部的数据源模块。请按照“Apache Avro 数据源指南”的部署部分部署应用程序。

例子：

>>> from pyspark.sql import Row
>>> from pyspark.sql.avro.functions import to_avro
>>> data = ['SPADES']
>>> df = spark.createDataFrame(data, "string")
>>> df.select(to_avro(df.value).alias("suite")).collect()
[Row(suite=bytearray(b'\x00\x0cSPADES'))]

>>> jsonFormatSchema = '''["null", {"type": "enum", "name": "value",
...     "symbols": ["SPADES", "HEARTS", "DIAMONDS", "CLUBS"]}]'''
>>> df.select(to_avro(df.value, jsonFormatSchema).alias("suite")).collect()
[Row(suite=bytearray(b'\x02\x00'))]

相关用法

注：本文由纯净天空筛选整理自spark.apache.org大神的英文原创作品 pyspark.sql.avro.functions.to_avro。非经特殊声明，原始代码版权归原作者所有，本译文未经允许或授权，请勿转载或复制。