本文整理匯總了Java中org.apache.hadoop.hdfs.DistributedFileSystem.concat方法的典型用法代碼示例。如果您正苦於以下問題：Java DistributedFileSystem.concat方法的具體用法？Java DistributedFileSystem.concat怎麽用？Java DistributedFileSystem.concat使用的例子？那麽, 這裏精選的方法代碼示例或許可以為您提供幫助。您也可以進一步了解該方法所在類org.apache.hadoop.hdfs.DistributedFileSystem的用法示例。
在下文中一共展示了DistributedFileSystem.concat方法的2個代碼示例，這些例子默認根據受歡迎程度排序。您可以為喜歡或者感覺有用的代碼點讚，您的評價將有助於係統推薦出更棒的Java代碼示例。
示例1: main
import org.apache.hadoop.hdfs.DistributedFileSystem; //導入方法依賴的package包/類
public static void main(String... args) throws IOException {
if(args.length < 2) {
System.err.println("Usage HDFSConcat target srcs..");
System.exit(0);
}
Configuration conf = new Configuration();
String uri = conf.get("fs.default.name", def_uri);
Path path = new Path(uri);
DistributedFileSystem dfs =
(DistributedFileSystem)FileSystem.get(path.toUri(), conf);
Path [] srcs = new Path[args.length-1];
for(int i=1; i<args.length; i++) {
srcs[i-1] = new Path(args[i]);
}
dfs.concat(new Path(args[0]), srcs);
}
示例2: concat
import org.apache.hadoop.hdfs.DistributedFileSystem; //導入方法依賴的package包/類
public static void concat(String dir) throws IOException {
String directory = NodeConfig.HDFS_PATH + dir;
Configuration conf = new Configuration();
DistributedFileSystem fs = (DistributedFileSystem)FileSystem.get(URI.create(directory), conf);
FileStatus fileList[] = fs.listStatus(new Path(directory));
if (fileList.length>=2) {
ArrayList<Path> srcs = new ArrayList<Path>(fileList.length);
for (FileStatus fileStatus : fileList) {
if ( fileStatus.isFile() &&
(fileStatus.getLen()&~fileStatus.getBlockSize())<fileStatus.getBlockSize()/2 ) {
srcs.add(fileStatus.getPath());
}
}
if (srcs.size()>=2) {
Logger.println("come to here");
Path appended = srcs.get(0);
Path[] sources = new Path[srcs.size()-1];
for (int i=0; i<srcs.size()-1; i++) {
sources[i] = srcs.get(i+1);
}
Logger.println(fs==null);
Logger.println(appended==null);
Logger.println(sources==null);
fs.concat(appended, sources);
Logger.println("concat to : " + appended.getName());
Logger.println(Arrays.toString(sources));
}
fs.close();
}
}