Pyspark „PipelinedRDD” ma atrybut „Show”

Question

I chcę, aby dowiedzieć się, co wszystkie pozycje df, które nie są w DF1, także pozycje DF1 ale nie w df

df =sc.parallelize([1,2,3,4 ,5 ,6,7,8,9]) 
    df1=sc.parallelize([4 ,5 ,6,7,8,9,10]) 
    df2 = df.subtract(df1) 
    df2.show() 
    df3 = df1.subtract(df) 
    df3.show() 

Wystarczy chcieć aby sprawdzić wynik, aby zobaczyć, czy dobrze rozumiem funkcję. Ale dostałem ten błąd Obiekt "PipelinedRDD" nie ma atrybutu "pokaż" jakiejkolwiek sugestii?

Answer 1

print(df2.take(10)) 

df.show() jest tylko dla zapłonowej DataFrame

Answer 2

Drukuje się, że jest to RDD i że typ jest PipelinedRDD nie lista wartości jak moglibyśmy expect.That dlatego, że nie przeprowadziliśmy jeszcze działamy, przeprowadziliśmy tylko transformację.

Spróbuj zrobić

df3.count() 

wtedy można zrobić

df3.show()