Jak odczytać sekwencyjny plik hadoop?

Question

Mam plik sekwencyjny, który jest wynikiem działania mapy miaoop-zmniejsz. W tym pliku dane są zapisywane w parach wartości klucza, a sama wartość jest mapą. Chcę odczytać wartość jako obiekt MAP, aby móc go przetworzyć dalej.

Configuration config = new Configuration(); 
    Path path = new Path("D:\\OSP\\sample_data\\data\\part-00000"); 
    SequenceFile.Reader reader = new SequenceFile.Reader(FileSystem.get(config), path, config); 
    WritableComparable key = (WritableComparable) reader.getKeyClass().newInstance(); 
    Writable value = (Writable) reader.getValueClass().newInstance(); 
    long position = reader.getPosition(); 

    while(reader.next(key,value)) 
    { 
      System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
    } 

wyjście z programu: Key jest: [to jest klucz] wartość: {abc = 839177, xyz = 548498, LMN = 2, pqr = 1} wartość

Tutaj otrzymuję jako ciąg , ale chcę go jako obiekt mapy.

Answer 1

Sprawdź dokumentację API dla SequenceFile#next(Writable, Writable)

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+textKey +" value is: "+val+"\n"); 
} 

należy zastąpić

while(reader.next(key,value)) 
{ 
     System.out.println("Key is: "+key +" value is: "+value+"\n"); 
} 

Korzystanie SequenceFile.Reader#getValueClassName uzyskać typ wartości w SequenceFile. SequenceFile ma typy klucz/wartość w nagłówku pliku.