Filtruj df, gdy wartości pasują do fragmentu ciągu znaków w pyspark

Question

Mam duży pyspark.sql.dataframe.DataFrame i chcę zachować (tak filter) wszystkie wiersze, w których adres URL zapisany w kolumnie location zawiera wstępnie określony ciąg znaków, np. "google.com".

Próbowałem df.filter(sf.col('location').contains('google.com') ale to rzuca

TypeError: _TypeError: 'Column' object is not callable' 

Jak mogę obejść i filtrować moje df prawidłowo? Z góry bardzo dziękuję!

Answer 1

Można użyć zwykły SQL w filter

df.filter("location like '%google.com%'") 

lub metodami kolumn DataFrame

df.filter(df.location.like('%google.com%'))