2012-08-27 22 views
7

Mam dane wejściowe w spłaszczonym pliku. Chcę znormalizować te dane, dzieląc je na tabele. Czy mogę to zrobić dokładnie z pandas - to znaczy, odczytując spłaszczone dane do instancji DataFrame, a następnie stosując niektóre funkcje, aby uzyskać powstałe instancje DataFrame?pandy: normalizowanie DataFrame

Przykład:

dane jest mi dane na dysku w postaci pliku CSV tak:

ItemId ClientId PriceQuoted ItemDescription 
1  1   10   scroll of Sneak 
1  2   12   scroll of Sneak 
1  3   13   scroll of Sneak 
2  2   2500   scroll of Invisible 
2  4   2200   scroll of Invisible 

Chcę utworzyć dwie DataFrames:

ItemId ItemDescription 
1  scroll of Sneak 
2  scroll of Invisibile 

i

ItemId ClientId PriceQuoted 
1  1   10 
1  2   12 
1  3   13 
2  2   2500 
2  4   2200 

Jeśli pandas ma tylko dobre rozwiązanie w najprostszym przypadku (normalizacja daje wyniki w 2 tabelach z relacją wiele do jednego - tak jak w powyższym przykładzie), to może wystarczyć dla moich aktualnych potrzeb. Być może jednak będę potrzebować bardziej ogólnego rozwiązania w przyszłości.

Odpowiedz

9
In [30]: df = pandas.read_csv('foo1.csv', sep='[\s]{2,}') 

In [30]: df 
Out[30]: 
    ItemId ClientId PriceQuoted  ItemDescription 
0  1   1   10  scroll of Sneak 
1  1   2   12  scroll of Sneak 
2  1   3   13  scroll of Sneak 
3  2   2   2500 scroll of Invisible 
4  2   4   2200 scroll of Invisible 

In [31]: df1 = df[['ItemId', 'ItemDescription']].drop_duplicates().set_index('ItemId') 

In [32]: df1 
Out[32]: 
      ItemDescription 
ItemId 
1   scroll of Sneak 
2  scroll of Invisible 

In [33]: df2 = df[['ItemId', 'ClientId', 'PriceQuoted']] 

In [34]: df2 
Out[34]: 
    ItemId ClientId PriceQuoted 
0  1   1   10 
1  1   2   12 
2  1   3   13 
3  2   2   2500 
4  2   4   2200