kopiowanie katalogu z systemu lokalnego do kodu Javy hdfs

Question

Mam problem podczas próby skopiowania katalogu z mojego systemu lokalnego do HDFS przy użyciu kodu Java. Jestem w stanie przenosić pojedyncze pliki, ale nie mogę znaleźć sposobu na przeniesienie całego katalogu z podfolderami i plikami. Czy ktoś może mi w tym pomóc? Z góry dziękuję.

Answer 1

Po prostu użyj metody FileSystem 'copyFromLocalFile. Jeśli ścieżka źródłem jest lokalny katalog zostanie skopiowany do miejsca przeznaczenia HDFS:

... 
Configuration conf = new Configuration(); 
conf.addResource(new Path("/home/user/hadoop/conf/core-site.xml")); 
conf.addResource(new Path("/home/user/hadoop/conf/hdfs-site.xml")); 

FileSystem fs = FileSystem.get(conf); 
fs.copyFromLocalFile(new Path("/home/user/directory/"), 
    new Path("/user/hadoop/dir")); 
... 

Answer 2

Oto pełny kod roboczych czytać i pisać do HDFS. To trwa dwa argumenty

1. ścieżki wejścia (local/HDFS)

2. ścieżka wyjściowa (HDFS)

użyłem Cloudera piaskownicy.

package hdfsread; 

import java.io.BufferedInputStream; 
import java.io.FileInputStream; 
import java.io.IOException; 
import java.io.InputStream; 
import java.io.OutputStream; 
import java.net.URI; 

import org.apache.hadoop.conf.Configuration; 
import org.apache.hadoop.fs.FileSystem; 
import org.apache.hadoop.fs.Path; 
import org.apache.hadoop.io.IOUtils; 

public class ReadingAFileFromHDFS { 

    public static void main(String[] args) throws IOException { 
     String uri = args[0]; 
     InputStream in = null; 
     Path pt = new Path(uri); 
     Configuration myConf = new Configuration(); 
     Path outputPath = new Path(args[1]); 

     myConf.set("fs.defaultFS","hdfs://quickstart.cloudera:8020"); 
     FileSystem fSystem = FileSystem.get(URI.create(uri),myConf); 
     OutputStream os = fSystem.create(outputPath); 
     try{ 
      InputStream is = new BufferedInputStream(new FileInputStream(uri)); 
      IOUtils.copyBytes(is, os, 4096, false); 
     } 
     catch(IOException e){ 
      e.printStackTrace(); 
     } 
     finally{ 
      IOUtils.closeStream(in); 
     } 
    } 
}