Filtr niewrażliwy na wielkość liter Spark'a SQL dla warunków kolumnowych

Question

Sposób korzystania z iskrzącego filtra sql jako filtra niewrażliwego na wielkość znaków.

na przykład:

dataFrame.filter(dataFrame.col("vendor").equalTo("fortinet")); 

prostu wrócić wiersze 'vendor' kolumna jest równa 'fortinet' ale chcę wiersze 'vendor' kolumna równa 'fortinet' lub 'Fortinet' lub 'foRtinet' lub ...

Answer 1

Można wykorzystanie rozróżnianie wielkości liter:

val df = sc.parallelize(Seq(
    (1L, "Fortinet"), (2L, "foRtinet"), (3L, "foo") 
)).toDF("k", "v") 

df.where($"v".rlike("(?i)^fortinet$")).show 
// +---+--------+ 
// | k|  v| 
// +---+--------+ 
// | 1|Fortinet| 
// | 2|foRtinet| 
// +---+--------+ 

lub proste równość z lower/upper:

import org.apache.spark.sql.functions.{lower, upper} 

df.where(lower($"v") === "fortinet") 
// +---+--------+ 
// | k|  v| 
// +---+--------+ 
// | 1|Fortinet| 
// | 2|foRtinet| 
// +---+--------+ 

df.where(upper($"v") === "FORTINET") 
// +---+--------+ 
// | k|  v| 
// +---+--------+ 
// | 1|Fortinet| 
// | 2|foRtinet| 
// +---+--------+ 

Dla prostych filtrów wolałbym rlike chociaż wydajność powinna być podobna, do join warunkach równości jest znacznie lepszym wyborem. Aby uzyskać szczegółowe informacje, patrz How can we JOIN two Spark SQL dataframes using a SQL-esque "LIKE" criterion?.

Answer 2

spróbuje użyć dolne/górne funkcji ciągu:

dataFrame.filter(lower(dataFrame.col("vendor")).equalTo("fortinet")) 

lub

dataFrame.filter(upper(dataFrame.col("vendor")).equalTo("FORTINET"))