当前位置: 首页>>代码示例>>Java>>正文


Java InputSplit.write方法代码示例

本文整理汇总了Java中org.apache.hadoop.mapred.InputSplit.write方法的典型用法代码示例。如果您正苦于以下问题:Java InputSplit.write方法的具体用法?Java InputSplit.write怎么用?Java InputSplit.write使用的例子?那么, 这里精选的方法代码示例或许可以为您提供帮助。您也可以进一步了解该方法所在org.apache.hadoop.mapred.InputSplit的用法示例。


在下文中一共展示了InputSplit.write方法的3个代码示例,这些例子默认根据受欢迎程度排序。您可以为喜欢或者感觉有用的代码点赞,您的评价将有助于系统推荐出更棒的Java代码示例。

示例1: serializeInputSplit

import org.apache.hadoop.mapred.InputSplit; //导入方法依赖的package包/类
public static String serializeInputSplit(final InputSplit split) throws IOException {
  final ByteArrayDataOutput byteArrayOutputStream =  ByteStreams.newDataOutput();
  split.write(byteArrayOutputStream);
  final String encoded = Base64.encodeBase64String(byteArrayOutputStream.toByteArray());
  logger.debug("Encoded split string for split {} : {}", split, encoded);
  return encoded;
}
 
开发者ID:skhalifa,项目名称:QDrill,代码行数:8,代码来源:HiveScan.java

示例2: serialize

import org.apache.hadoop.mapred.InputSplit; //导入方法依赖的package包/类
private SerializedInputSplit serialize(InputSplit split) throws IOException{
  ByteArrayDataOutput output = ByteStreams.newDataOutput();
  split.write(output);
  return SerializedInputSplit.newBuilder()
    .setInputSplitClass(split.getClass().getName())
    .setInputSplit(com.google.protobuf.ByteString.copyFrom(output.toByteArray())).build();
}
 
开发者ID:dremio,项目名称:dremio-oss,代码行数:8,代码来源:DatasetBuilder.java

示例3: serialize

import org.apache.hadoop.mapred.InputSplit; //导入方法依赖的package包/类
/**
 * Serializes each input split to string using Base64 encoding.
 *
 * @return list of serialized input splits
 */
public List<String> serialize() throws IOException {
  List<String> serializedInputSplits = new ArrayList<>();
  for (InputSplit inputSplit : inputSplits) {
    final ByteArrayDataOutput byteArrayOutputStream = ByteStreams.newDataOutput();
    inputSplit.write(byteArrayOutputStream);
    final String encoded = Base64.encodeBase64String(byteArrayOutputStream.toByteArray());
    logger.debug("Encoded split string for split {} : {}", inputSplit, encoded);
    serializedInputSplits.add(encoded);
  }
  return serializedInputSplits;
}
 
开发者ID:axbaretto,项目名称:drill,代码行数:17,代码来源:HiveMetadataProvider.java


注:本文中的org.apache.hadoop.mapred.InputSplit.write方法示例由纯净天空整理自Github/MSDocs等开源代码及文档管理平台,相关代码片段筛选自各路编程大神贡献的开源项目,源码版权归原作者所有,传播和使用请参考对应项目的License;未经允许,请勿转载。