Użycie pamięci Python: Który z moich obiektów zużywa najwięcej pamięci?

Question

Program, który napisałem, przechowuje dużą ilość danych w słownikach. W szczególności tworzę 1588 wystąpień klasy, z których każda zawiera 15 słowników z 1500 odwzorowaniami float. Ten proces dość szybko zużył 2 GB pamięci na moim laptopie (zaczynam pisać, aby zamienić się na około 1000. instancji klasy).

Moje pytanie brzmi, które z poniższych czynności powoduje wyczerpanie pamięci?

• 34 miliony niektóre pary pływaków?
• Koszt ponad 22 500 słowników?
• koszt 1500 zajęć?

Dla mnie wygląda na to, że świnia pamięciowa to ogromna liczba liczb zmiennoprzecinkowych, które trzymam w pamięci. Jeśli jednak to, co przeczytałem do tej pory, jest poprawne, każda z liczb zmiennoprzecinkowych zajmuje 16 bajtów. Ponieważ mam 34 miliony par, powinno to wynosić około 108 milionów bajtów, co powinno wynosić nieco ponad gigabajt.

Czy jest coś, czego nie biorę tutaj pod uwagę?

Answer 1

Pływaki zrobić zajmują 16 bajtów za sztukę, a DICT 1500 wpisów około 100k:

>> sys.getsizeof(1.0) 
16 
>>> d = dict.fromkeys((float(i) for i in range(1500)), 2.0) 
>>> sys.getsizeof(d) 
98444 

więc 22.500 dicts przejmują 2GB wszystkim siebie, po 68 mln unosi kolejny GB lub więcej. Nie wiem, jak obliczyć 68 milionów razy 16 równe tylko 100 M - być może gdzieś zrzuciłeś zero.

Sama klasa zajmuje niewielką ilość, a 1500 jej wystąpień (bez obiektów, do których się odnoszą, tak jak getsizeof daje nam takie kwoty netto za dyktanda) niewiele więcej niż niewielki dyktat każdy, więc , to nie jest problem. Tj .:

>>> sys.getsizeof(Sic) 
452 
>>> sys.getsizeof(Sic()) 
32 
>>> sys.getsizeof(Sic().__dict__) 
524 

452 dla klasy, (524 + 32) * 1550 = 862K dla wszystkich przypadkach, jak widać nie jest to zmartwienie, gdy masz gigabajtów każdy w dicts i pływaków.