Jak używać indeksów Spark ORC?

Question

Co to jest opcja włączenia indeksowania z iskry?

  df 
      .write() 
      .option("mode", "DROPMALFORMED") 
      .option("compression", "snappy") 
      .mode("overwrite") 
      .format("orc") 
      .option("index", "user_id") 
      .save(...); 

Robię się .option("index", uid), co musiałbym tam umieścić do kolumny indeksu „user_id” od orka.

Answer 1

Wypróbowałeś: ?

df 
     .write() 
     .option("mode", "DROPMALFORMED") 
     .option("compression", "snappy") 
     .mode("overwrite") 
     .format("orc") 
     .partitionBy("user_id") 
     .save(...)