Python Pandy - łączące się głównie zduplikowane wiersze

Question

Niektóre z moich danych wygląda następująco:

date, name, value1, value2, value3, value4 
1/1/2001,ABC,1,1,, 
1/1/2001,ABC,,,2, 
1/1/2001,ABC,,,,35 

Próbuję dostać się do punktu, w którym mogę uruchomić

data.set_index(['date', 'name']) 

Ale, jak z danymi -jest oczywiście duplikatami (jak pokazano powyżej), więc nie mogę tego zrobić (i nie chcę indeksu z duplikatami, i nie mogę po prostu drop_duplicates(), ponieważ to by utraciło dane).

Chciałbym móc wymusić wiersze, które mają te same wartości [data, nazwa] w jednym wierszu, jeśli można je pomyślnie konwergować na podstawie pewnych wartości NaN (podobnie do zachowania combined_first()) . Na przykład, powyższa skończy się na

date, name, value1, value2, value3, value4 
1/1/2001,ABC,1,1,2,35 

Jeśli dwie wartości są różne i nie jest NaN, dwa wiersze nie powinny być konwergentnych (to będzie prawdopodobnie błąd, że muszę do kontynuacji).

(Aby przedłużyć powyższy przykład, w rzeczywistości może być dowolna liczba linii - ze względu na dowolną liczbę kolumn. - co powinno być możliwe zbiegały się jednym wierszu)

to czuje jak problem, który powinien być bardzo rozwiązalny przez pandy, ale mam problem ze znalezieniem eleganckiego rozwiązania.

Answer 1

Wyobraźmy sobie, że masz jakąś funkcję combine_it, która, biorąc pod uwagę zestaw wierszy, które miałyby powielone wartości, zwraca pojedynczy wiersz. Po pierwsze, grupa przez date i name:

grouped = data.groupby(['date', 'name']) 

Następnie wystarczy zastosować funkcję agregacji i wysięgnik skończysz:

result = grouped.agg(combine_it) 

Można również dostarczyć różne funkcje agregacji dla różnych kolumn przekazując agg dykt.

Answer 2

Jeśli nie masz wartości pola numerycznego, agregacja z licznikiem, min., Sumą itp. Nie będzie ani możliwa, ani sensowna. Mimo to nadal możesz chcieć zwinąć zduplikowane rekordy do poszczególnych rekordów (np.) W oparciu o jeden lub więcej kluczy podstawowych.

# Firstly, avoid Nan values in the columns you are grouping on! 
df[['col1', 'col2']] = df[['col1', 'col2']].fillna('null') 


    # Define your own customized operation in pandas agg() function 
df = df.groupby(['col1', 'col2']).agg({'SEARCH_TERM':lambda x: ', '.join(tuple(x.tolist())), 

            'HITS_CONTENT':lambda x: ', '.join(tuple(x.tolist()))} 
            ) 

Grupa przez jedną lub więcej kolumn i upadku wartości wartości poprzez przekształcenie ich w pierwszej kolejności, do listy, a następnie do krotki i wreszcie do łańcucha. Jeśli wolisz, możesz również zachować je jako listę lub krotkę zapisaną w każdym polu lub zastosować ag. funkcja i słownik bardzo różnych operacji do różnych kolumn.