Jak mogę zebrać pojedynczą kolumnę w Spark?

Question

Chciałbym wykonać akcję na pojedynczej kolumnie. Niestety, po przekształceniu tej kolumny, nie jest ona już częścią struktury danych, z której pochodził, ale obiektem kolumny. W związku z tym nie można go zebrać.

Oto przykład:

df = sqlContext.createDataFrame([Row(array=[1,2,3])]) 
df['array'].collect() 

To daje następujący błąd:

Traceback (most recent call last): 
    File "<stdin>", line 1, in <module> 
TypeError: 'Column' object is not callable 

Jak mogę korzystać z funkcji collect() na jednej kolumnie?

Answer 1

Wystarczy wybrać i flatMap:

df.select("array").flatMap(lambda x: x).collect() 
## [[1, 2, 3]] 

---

Edit 23/1/2017

Począwszy od Spark 2.0.0 trzeba wyraźnie określić .rdd aby korzystać flatMap

df.select("array").rdd.flatMap(lambda x: x).collect()