Scala DataFrame: Eksplodować macierz

Question

Używam bibliotek iskier w Scali. Stworzyłem DataFrame korzystając

val searchArr = Array(
    StructField("log",IntegerType,true), 
    StructField("user", StructType(Array(
    StructField("date",StringType,true), 
    StructField("ua",StringType,true), 
    StructField("ui",LongType,true))),true), 
    StructField("what",StructType(Array(
    StructField("q1",ArrayType(IntegerType, true),true), 
    StructField("q2",ArrayType(IntegerType, true),true), 
    StructField("sid",StringType,true), 
    StructField("url",StringType,true))),true), 
    StructField("where",StructType(Array(
    StructField("o1",IntegerType,true), 
    StructField("o2",IntegerType,true))),true) 
) 

val searchSt = new StructType(searchArr)  

val searchData = sqlContext.jsonFile(searchPath, searchSt) 

teraz jestem co do eksplodować what.q1 pola, które powinny zawierać tablicę liczb całkowitych, ale dokumentacja jest ograniczona: http://spark.apache.org/docs/1.4.0/api/java/org/apache/spark/sql/DataFrame.html#explode(java.lang.String,%20java.lang.String,%20scala.Function1,%20scala.reflect.api.TypeTags.TypeTag)

Do tej pory próbowałem kilka rzeczy bez większego powodzenia

val searchSplit = searchData.explode("q1", "rb")(q1 => q1.getList[Int](0).toArray()) 

jakieś pomysły/przykłady jak wykorzystać eksplodować na tablicy?

Answer 1

Czy próbowałeś z UDF na polu "co"? Coś w tym może być przydatna:

val explode = udf { 
(aStr: GenericRowWithSchema) => 
    aStr match { 
     case null => "" 
     case _ => aStr.getList(0).get(0).toString() 
    } 
} 


val newDF = df.withColumn("newColumn", explode(col("what"))) 

gdzie:

• getlist (0) powraca "Q1" field
• get (0) zwraca pierwszy element "Q1"

Nie jestem pewien, ale można spróbować użyć getAs [T] (fieldName: String) zamiast getList (indeks: Int).