Jak spłaszczyć strukturę w iskrowegowej ramce danych?

Question

Mam dataframe o następującej strukturze:

|-- data: struct (nullable = true) 
| |-- id: long (nullable = true) 
| |-- keyNote: struct (nullable = true) 
| | |-- key: string (nullable = true) 
| | |-- note: string (nullable = true) 
| |-- details: map (nullable = true) 
| | |-- key: string 
| | |-- value: string (valueContainsNull = true) 

Jak to jest możliwe, aby spłaszczyć strukturę i stworzyć nową dataframe:

 |-- id: long (nullable = true) 
    |-- keyNote: struct (nullable = true) 
    | |-- key: string (nullable = true) 
    | |-- note: string (nullable = true) 
    |-- details: map (nullable = true) 
    | |-- key: string 
    | |-- value: string (valueContainsNull = true) 

Czy istnieje coś takiego jak wybuch, ale na elemencie?

Answer 1

To powinno działać w Spark 1.6 lub nowszym:

df.select(df.col("data.*")) 

lub

df.select(df.col("data.id"), df.col("data.keyNote"), df.col("data.details")) 

Answer 2

Łatwym sposobem jest użycie SQL, można zbudować ciąg kwerendy SQL alias zagnieżdżone kolumn jako płaskie te .

1. pobrać schemat danych ramki (df.schema())
2. Transform schematu SQL (dla (field. Schema (Pola)()) ....
3. Query „val newDF = sqlContext.sql ("WYBIERZ" + sqlGenerated + "z ręki")

Przykładem Java:

https://gist.github.com/ebuildy/3de0e2855498e5358e4eed1a4f72ea48

(Preferuję sposób SQL, więc można go łatwo przetestować na Spark-shell i jest to wersja wielojęzyczna).