Take n wierszy z dataframe zapłonowej i przekazywanie toPandas()

Question

mam ten kod:

l = [('Alice', 1),('Jim',2),('Sandra',3)] 
df = sqlContext.createDataFrame(l, ['name', 'age']) 
df.withColumn('age2', df.age + 2).toPandas() 

działa dobrze, robi to, co musi. Załóżmy jednak, że chcę wyświetlić tylko pierwsze n wierszy, a następnie wywołać toPandas(), aby zwrócić ramkę danych pandy. Jak mam to zrobić? Nie mogę zadzwonić pod numer take(n), ponieważ to nie zwraca ramki danych, a tym samym nie mogę jej przesłać do toPandas().

Podążając w inny sposób, w jaki sposób mogę pobrać górne n wierszy z ramki danych i wywołać toPandas() na wynikowej ramce danych? Nie mogę myśleć, że to jest trudne, ale nie mogę tego rozgryźć.

Używam Spark 1.6.0.

Answer 1

Można użyć limitu (n) Funkcja:

l = [('Alice', 1),('Jim',2),('Sandra',3)] 
df = sqlContext.createDataFrame(l, ['name', 'age']) 
df.limit(2).withColumn('age2', df.age + 2).toPandas() 

LUB

l = [('Alice', 1),('Jim',2),('Sandra',3)] 
df = sqlContext.createDataFrame(l, ['name', 'age']) 
df.withColumn('age2', df.age + 2).limit(2).toPandas() 

Answer 2

Można dostać pierwsze rzędy Spark DataFrame z head a następnie utworzyć Pandy DataFrame:

l = [('Alice', 1),('Jim',2),('Sandra',3)] 
df = sqlContext.createDataFrame(l, ['name', 'age']) 

df_pandas = pd.DataFrame(df.head(3), columns=df.columns) 

In [4]: df_pandas 
Out[4]: 
    name age 
0 Alice 1 
1  Jim 2 
2 Sandra 3