islowe okno funkcji sql opóźnienie

Question

Patrzę na funkcję przesuwania okna dla Spark DataFrame w Spark SQL, Scala.

Mam ramkę danych z kolumnami Col1, Col1, Col1, data.

Col1 Col2 Col3 date  volume new_col 
         201601 100.5 
         201602 120.6 100.5 
         201603 450.2 120.6 
         201604 200.7 450.2 
         201605 121.4 200.7` 

Teraz chcę dodać nową kolumnę z nazwą (new_col) z jednym rzędem przesuwany w dół, jak pokazano powyżej.

Spróbowałem poniżej opcji, aby użyć funkcji okna.

val windSldBrdrxNrx_df = df.withColumn("Prev_brand_rx", lag("Prev_brand_rx",1)) 

Czy ktoś może mi pomóc, jak to zrobić.

Answer 1

Robisz właściwie wszystko, czego brakowało to over(window expression) na lag

val df = sc.parallelize(Seq((201601, 100.5), 
    (201602, 120.6), 
    (201603, 450.2), 
    (201604, 200.7), 
    (201605, 121.4))).toDF("date", "volume") 

val w = org.apache.spark.sql.expressions.Window.orderBy("date") 

import org.apache.spark.sql.functions.lag 

val leadDf = df.withColumn("new_col", lag("volume", 1, 0).over(w)) 

leadDf.show() 

+------+------+-------+ 
| date|volume|new_col| 
+------+------+-------+ 
|201601| 100.5| 0.0| 
|201602| 120.6| 100.5| 
|201603| 450.2| 120.6| 
|201604| 200.7| 450.2| 
|201605| 121.4| 200.7| 
+------+------+-------+ 

Ten kod został uruchomiony na Spark skorupy 2.0.2

Answer 2

Można importować poniżej dwóch pakietów, które rozwiążą kwestię lag zależności.

import org.apache.spark.sql.functions.{lead, lag} 
import org.apache.spark.sql.expressions.Window