python-multiprocessing

9Ciepło

1Odpowiedz

Multiprocessing in the flask app kręci się w górę 2 procesami

Buduję aplikację w kolbie i potrzebuję uruchomić procesy w tle. Zdecydowałem się na proces wieloprocesowy, ale produkuje on dwa procesy podczas działania w kolbie. Czy ktoś wie, dlaczego tak się stało

5Ciepło

2Odpowiedz

Udostępnianie dużych obiektów między różnymi procesami w Pythonie 3.4

Próbuję udostępnić duży obiekt (~ 2 GB) między różnymi procesami w Pythonie, aby zmniejszyć wykorzystanie pamięci. Dowiedziałem się o klasie Manager i serwerach proxy w bibliotece wieloprocesowej (htt

5Ciepło

1Odpowiedz

Uzyskaj wartość zwracaną dla funkcji przetwarzania wielokrotnego w pythonie

Mam dwie funkcje do równoległego działania i każda z nich zwraca wartość. Muszę poczekać, aż obie funkcje zakończą się, a następnie przetworzyć zwroty z nich. Jak mogłem to osiągnąć w pytonie. Zakłada

11Ciepło

1Odpowiedz

Python multiprocessing: map vs map_async

Jaka jest różnica między używaniem mapy i map_async, Czy nie uruchamiają tej samej funkcji po dystrybucji elementów z listy do 4 procesów. Więc nie należy zakładać, że oba działają asynchronicznie i r

8Ciepło

2Odpowiedz

Dlaczego moja pętla wymaga więcej pamięci w każdej iteracji?

Próbuję zmniejszyć wymagania pamięci mojego kodu Pythona 3. Teraz każda iteracja pętli for wymaga więcej pamięci niż poprzednia. Napisałem kawałek kodu, który ma takie samo zachowanie jak mojego proje

9Ciepło

1Odpowiedz

Wieloprocesorowość w języku Python - Dlaczego użycie functools.partial jest wolniejsze od domyślnych?

Rozważmy następującą funkcję: def f(x, dummy=list(range(10000000))): return x Jeśli używam multiprocessing.Pool.imap, otrzymuję następujące czasy: import time import os from multiprocessing i

12Ciepło

1Odpowiedz

multiprocessing.Pool w notebooku jupyter działa na systemie Linux, ale nie w systemach Windows

Próbuję uruchomić kilka niezależnych obliczeń (chociaż odczyt z tych samych danych). Mój kod działa, gdy uruchomię go na Ubuntu, ale nie na Windows (Windows Server 2012 R2), gdzie pojawia się błąd: 'm

6Ciepło

1Odpowiedz

Program Multiprocessing ma AttributeError w Anaconda notebooka

Używam prosty program "Hello World" na Windows 7 64 bit o następujących parametrach: Python 3.4.3 | Anaconda 2.3.0 (64-bit) | [MSC v.1600 64 bit (AMD64)] IPython 4.0.0 Program: from multiprocessing

13Ciepło

2Odpowiedz

Czy funkcje mogą być znane, jeśli są już w Pythonie (joblib) w trybie wieloprocesowym?

Mam funkcję, która używa przetwarzania wieloprocesorowego (w szczególności joblib), aby przyspieszyć powolną procedurę za pomocą wielu rdzeni. Działa świetnie; bez pytań. Mam zestaw testów, który wyko

5Ciepło

1Odpowiedz

Python multiprocessing - Jak monitorować użycie pamięci?

Nie znalazłem dobrej metody monitorowania użycia pamięci skryptu Python przy użyciu multiprocessing. Dokładniej, np zrobić to: import time biglist = range(pow(10, 7)) time.sleep(5) Wykorzystanie