IPython.parallel nie używając wielordzeniowych?

Question

Eksperymentuję z IPython.parallel i chcę tylko uruchomić kilka poleceń powłoki w różnych silnikach.

Mam następujący Notebook:

komórki 0:

from IPython.parallel import Client 
client = Client() 
print len(client) 
5 

i uruchomienie polecenia:

komórkowy 1:

%%px --targets 0 --noblock 
!python server.py 

Telefon komórkowy 2:

%%px --targets 1 --noblock 
!python mincemeat.py 127.0.0.1 

Celi 3:

%%px --targets 2 --noblock 
!python mincemeat.py 127.0.0.1 

Co robi to wykorzystuje realizację mincemeat z MapReduce. Kiedy uruchamiam pierwszy !python mincemeat.py 127.0.0.1 używa on w przybliżeniu 100% jednego rdzenia, a kiedy uruchamiam drugi, spada do 50%. Mam 4 rdzenie (+ wirtualne rdzenie) na maszynie i mogę ich używać podczas uruchamiania bezpośrednio z terminalu, ale nie w Notebooku.

Czy jest coś, czego mi brakuje? Chciałbym użyć jednego rdzenia na polecenie !python mincemeat.py 127.0.0.1.

EDIT:
Dla jasności, tutaj jest inna sprawa, że ​​nie używa wielu rdzeni:

komórkowy 1:

%%px --targets 0 --noblock 

a = 0 
for i in xrange(100000): 
    for j in xrange(10000): 
     a += 1 

komórkowy 2:

%%px --targets 0 --noblock 

a = 0 
for i in xrange(100000): 
    for j in xrange(10000): 
     a += 1 

Przypuszczam, że czegoś mi brakuje. Wierzę, że te dwie komórki powinny uruchomić jeden inny rdzeń, jeśli jest dostępny. Jednak wydaje się, że tak nie jest. Znowu użycie procesora pokazuje, że dzielą one ten sam rdzeń i używają go w 50%. Co zrobiłem źle?

Answer 1

Podsumowanie czatu dyskusji:

CPU affinity jest mechanizm przypinanie procesu do konkretnego rdzenia procesora, oraz kwestia jest to, że czasami importowania numpy może skończyć przypinanie procesy Pythona do CPU 0, jako wynik połączenia z konkretnymi bibliotekami BLAS. Można odpiąć wszystkich silników uruchamiając tę ​​komórkę:

%%px 
import os 
import psutil 
from multiprocessing import cpu_count 

p = psutil.Process(os.getpid()) 
p.set_cpu_affinity(range(cpu_count())) 
print p.get_cpu_affinity() 

który wykorzystuje multiprocessing.cpu_count aby uzyskać liczbę procesorów, a następnie kojarzy każdy silnik ze wszystkimi procesorami.

Notebook IPython exploring the issue.