buforowanie nakazał Spark DataFrame tworzy niechciane zadanie

Question

chcę przekonwertować RDD do DataFrame i chcą buforować wyniki RDD:

from pyspark.sql import * 
from pyspark.sql.types import * 
import pyspark.sql.functions as fn 

schema = StructType([StructField('t', DoubleType()), StructField('value', DoubleType())]) 

df = spark.createDataFrame(
    sc.parallelize([Row(t=float(i/10), value=float(i*i)) for i in range(1000)], 4), #.cache(), 
    schema=schema, 
    verifySchema=False 
).orderBy("t") #.cache() 

• Jeśli nie używać cache funkcji nie jest praca wygenerowany.
• Jeśli używasz cache tylko po orderBy 1 pracy jest generowany dla cache:
• Jeśli używasz cache dopiero po parallelize praca nie jest generowany.

Dlaczego cache generuje pracę w tym jednym przypadku? Jak mogę uniknąć generowania zleceń z cache (buforowanie DataFrame i brak RDD)?

Edit: badałem bardziej na problem i okazało się, że bez orderBy("t") nie praca jest generowany. Czemu?

Answer 1

I złożyła bug ticket i było zamknięte z następującego powodu:

buforowanie wymaga RDD podkładową. Wymaga to również znajomości partycji podkładowych , co jest nieco szczególne w przypadku zamówienia globalnego: uruchamia zadanie (skanowanie), ponieważ musimy określić granice partycji .