Jak napisać ramkę danych (uzyskaną z tabeli gałęzi) do hadoop SequenceFile i RCFile?

Question

jestem w stanie napisać to w

• ORC

• PARQUET

  bezpośrednio i

• TEXTFILE

• AVRO

użycie dodatkowych zależności z databricks.

<dependency> 
     <groupId>com.databricks</groupId> 
     <artifactId>spark-csv_2.10</artifactId> 
     <version>1.5.0</version> 
    </dependency> 
    <dependency> 
     <groupId>com.databricks</groupId> 
     <artifactId>spark-avro_2.10</artifactId> 
     <version>2.0.1</version> 
    </dependency> 

Przykładowy kod:

SparkContext sc = new SparkContext(conf); 
    HiveContext hc = new HiveContext(sc); 
    DataFrame df = hc.table(hiveTableName); 
    df.printSchema(); 
    DataFrameWriter writer = df.repartition(1).write(); 

    if ("ORC".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.orc(outputHdfsFile); 

    } else if ("PARQUET".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.parquet(outputHdfsFile); 

    } else if ("TEXTFILE".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.format("com.databricks.spark.csv").option("header", "true").save(outputHdfsFile); 

    } else if ("AVRO".equalsIgnoreCase(hdfsFileFormat)) { 
     writer.format("com.databricks.spark.avro").save(outputHdfsFile); 
    } 

Czy istnieje jakiś sposób, aby napisać dataframe do Hadoop SequenceFile i rc?

Answer 1

Można użyć void saveAsObjectFile(String path), aby zapisać RDD jako plik sekwencji zserializowanych obiektów. Więc w twoim przypadku trzeba pobrać RDD z DataFrame:

JavaRDD<Row> rdd = df.javaRDD; 
rdd.saveAsObjectFile(outputHdfsFile);