Ogranicz użycie pamięci?

Question

Uruchamiam Python 2.7 na maszynie Linux z 16 GB pamięci RAM i 64-bitowym systemem operacyjnym. Skrypt Pythona, który napisałem, może załadować zbyt wiele danych do pamięci, co spowalnia maszynę aż do momentu, w którym nie mogę nawet zabić procesu.

Chociaż mogę ograniczyć pamięć wywołując:

ulimit -v 12000000 

w mojej skorupie przed uruchomieniem skryptu, chciałbym dołączyć ograniczający opcję w samym skrypcie. Wszędzie, gdzie wyglądałem, moduł resource jest cytowany jako mający tę samą moc, co ulimit. Ale wołanie:

import resource 
_, hard = resource.getrlimit(resource.RLIMIT_DATA) 
resource.setrlimit(resource.RLIMIT_DATA, (12000, hard)) 

na początku mojego skryptu nie robi absolutnie nic. Nawet ustawienie wartości zaledwie 12000 nigdy nie spowodowało awarii. Próbowałem tego samego z RLIMIT_STACK, a także z tym samym wynikiem. Co ciekawe, dzwonienie pod numer:

import subprocess 
subprocess.call('ulimit -v 12000', shell=True) 

nic nie robi.

Co robię źle? Nie mogłem znaleźć żadnych rzeczywistych przykładów użycia online.

Answer 1

resource.RLIMIT_VMEM jest zasobem corresponding to ulimit -v.

RLIMIT_DATA podczas gdy newer memory managers tend to use mmap instead.

Po drugie, ulimit/setrlimit wpływa tylko na bieżący proces i jego przyszłe potomstwo.

odniesieniu do komunikatu AttributeError: 'module' object has no attribute 'RLIMIT_VMEM': the resource module docs wspomnieć to możliwość:

This module does not attempt to mask platform differences — symbols not defined for a platform will not be available from this module on that platform.

Według bashulimit source połączonego powyżej, jeśli stosuje RLIMIT_ASRLIMIT_VMEM nie jest zdefiniowana.