Jak utworzyć wiersz z listy lub tablicy w Spark używając Java

Question

W Javie używam RowFactory.create(), aby utworzyć rząd:

Row row = RowFactory.create(record.getLong(1), record.getInt(2), record.getString(3)); 

gdzie „zapis” jest rekord z bazy danych, ale nie mogę znać długości "rekordu" z góry, więc chcę użyć listy lub tablicy do utworzenia "wiersza". W Scali mogę użyć Row.fromSeq() do utworzenia wiersza z listy lub tablicy, ale jak mogę to osiągnąć w Javie?

Answer 1

Nie jestem pewien, czy poprawnie otrzymam pytanie, ale można użyć narzędzia RowFactory do utworzenia wiersza z tablicy ArrayList w języku Java.

List<MyData> mlist = new ArrayList<MyData>(); 
    mlist.add(d1); 
    mlist.add(d2); 

Row row = RowFactory.create(mlist.toArray()); 

Answer 2

Często potrzebujemy tworzyć zestawy danych lub ramki danych w aplikacjach świata rzeczywistego. Oto przykład, w jaki sposób tworzyć wiersze i zestawów danych w aplikacji Java:

// initialize first SQLContext 
SQLContext sqlContext = ... 
StructType schemata = DataTypes.createStructType(
     new StructField[]{ 
       createStructField("NAME", StringType, false), 
       createStructField("STRING_VALUE", StringType, false), 
       createStructField("NUM_VALUE", IntegerType, false), 
     }); 
Row r1 = RowFactory.create("name1", "value1", 1); 
Row r2 = RowFactory.create("name2", "value2", 2); 
List<Row> rowList = ImmutableList.of(r1, r2); 
Dataset<Row> data = sqlContext.createDataFrame(rowList, schemata); 

+-----+------------+---------+ 
| NAME|STRING_VALUE|NUM_VALUE| 
+-----+------------+---------+ 
|name1|  value1|  1| 
|name2|  value2|  2| 
+-----+------------+---------+