当前位置: 首页>>代码示例>>Java>>正文


Java AvroParquetReader.read方法代码示例

本文整理汇总了Java中org.apache.parquet.avro.AvroParquetReader.read方法的典型用法代码示例。如果您正苦于以下问题:Java AvroParquetReader.read方法的具体用法?Java AvroParquetReader.read怎么用?Java AvroParquetReader.read使用的例子?那么恭喜您, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在org.apache.parquet.avro.AvroParquetReader的用法示例。


在下文中一共展示了AvroParquetReader.read方法的2个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Java代码示例。

示例1: read

import org.apache.parquet.avro.AvroParquetReader; //导入方法依赖的package包/类
/**
 * 读取parquet文件内容
 *
 * @param parquetPath
 */
public void read(String parquetPath) {
    AvroParquetReader<GenericRecord> reader = null;
    try {
        reader = new AvroParquetReader<GenericRecord>(new Path(parquetPath));
        GenericRecord result = reader.read();
        System.out.println(result.getSchema());
        while ((result = reader.read()) != null) {
            System.out.println(result);
        }
        reader.close();
    } catch (IOException e) {
        e.printStackTrace();
    }
}
 
开发者ID:mumuhadoop,项目名称:mumu-parquet,代码行数:20,代码来源:AvroParquetOperation.java

示例2: serializeToByteBuffer

import org.apache.parquet.avro.AvroParquetReader; //导入方法依赖的package包/类
/**
 * Serialize Avro data to a in-memory ByteBuffer.
 * @return A ByteBuffer that contains avro data.
 * @throws IOException if the parquet file couldn't be parsed correctly.
 */
public ByteBuffer serializeToByteBuffer() throws IOException {
  final ByteArrayOutputStream stream = new ByteArrayOutputStream();
  final Encoder encoder = EncoderFactory.get().binaryEncoder(stream, null);
  final DatumWriter writer = new GenericDatumWriter<GenericRecord>();
  writer.setSchema(createAvroSchema());
  final AvroParquetReader<GenericRecord> reader = createAvroReader();

  GenericRecord record = reader.read();
  while (record != null) {
    writer.write(record, encoder);
    record = reader.read();
  }

  try {
    reader.close();
  } catch (IOException ex){
    LOG.log(Level.SEVERE, ex.getMessage());
    throw ex;
  }

  encoder.flush();
  final ByteBuffer buf = ByteBuffer.wrap(stream.toByteArray());
  buf.order(ByteOrder.LITTLE_ENDIAN);
  return buf;
}
 
开发者ID:apache,项目名称:reef,代码行数:31,代码来源:ParquetReader.java


注:本文中的org.apache.parquet.avro.AvroParquetReader.read方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。