Podziałowa kolumna łańcucha danych Datastrame na wiele kolumn

Question

Widziałem różne osoby sugerujące, że Dataframe.explode jest przydatnym sposobem, aby to zrobić, ale powoduje to więcej wierszy niż oryginalna ramka danych, co nie jest tym, czego w ogóle chcę. Ja po prostu chcę zrobić równowartość Dataframe na bardzo prosty:

rdd.map(lambda row: row + [row.my_str_col.split('-')]) 

która zaczyna coś wyglądające jak:

col1 | my_str_col 
-----+----------- 
    18 | 856-yygrm 
201 | 777-psgdg 

i konwertuje go do tego:

col1 | my_str_col | _col3 | _col4 
-----+------------+-------+------ 
    18 | 856-yygrm | 856 | yygrm 
201 | 777-psgdg | 777 | psgdg 

Jestem świadomy pyspark.sql.functions.split(), ale spowoduje to zagnieżdżoną kolumnę tablicy zamiast dwóch kolumn najwyższego poziomu, jak chcę.

Idealnie, chcę, aby te nowe kolumny również zostały nazwane.

Answer 1

pyspark.sql.functions.split() jest tutaj właściwym podejściem - wystarczy spłaszczyć zagnieżdżoną kolumnę ArrayType do wielu kolumn najwyższego poziomu. W tym przypadku, gdy każda tablica zawiera tylko 2 elementy, jest to bardzo łatwe. Po prostu użyć Column.getItem() odzyskać każdą część tablicy jako kolumna sama:

split_col = pyspark.sql.functions.split(df['my_str_col'], '-') 
df = df.withColumn('NAME1', split_col.getItem(0)) 
df = df.withColumn('NAME2', split_col.getItem(1)) 

Rezultatem będzie:

col1 | my_str_col | NAME1 | NAME2 
-----+------------+-------+------ 
    18 | 856-yygrm | 856 | yygrm 
201 | 777-psgdg | 777 | psgdg 

nie jestem pewien, w jaki sposób mogę rozwiązać to w ogólnym przypadku, gdy zagnieżdżone tablice nie miały tego samego rozmiaru od wiersza do wiersza.