multiprocessing

9Ciepło

3Odpowiedz

Python multiprocessing: jak ograniczyć liczbę oczekujących procesów?

Podczas uruchamiania dużej liczby zadań (z dużymi parametrami) przy użyciu Pool.apply_async procesy są przydzielane i przechodzą do stanu oczekiwania, a liczba procesów oczekujących nie jest limitowan

5Ciepło

2Odpowiedz

zmieniając zmienną globalną podczas przetwarzania wieloprocesorowego w pythonie

Więc to, co próbuję zrobić w końcu, to odczytać linię, wykonać pewne obliczenia z informacją w tej linii, a następnie dodać wynik do jakiegoś globalnego obiektu, ale nigdy nie mogę go uzyskać pracować

19Ciepło

2Odpowiedz

wieloprocesorowe Pythona i pamięć

Używam multiprocessing.imap_unordered do wykonywania obliczeń na listę wartości: def process_parallel(fnc, some_list): pool = multiprocessing.Pool() for result in pool.imap_unordered(fnc, so

55Ciepło

3Odpowiedz

Przetwarzanie pojedynczego pliku z wielu procesów w pythonie

Mam jeden duży plik tekstowy, w którym chcę przetworzyć każdą linię (wykonać pewne operacje) i zapisać je w bazie danych. Ponieważ pojedynczy prosty program trwa zbyt długo, chcę, aby było to wykonywa

7Ciepło

1Odpowiedz

Dlaczego nie można użyć operatora.itemgetter w wieloprocesorowych.Pool?

Poniższy program: import multiprocessing,operator f = operator.itemgetter(0) # def f(*a): return operator.itemgetter(0)(*a) if __name__ == '__main__': multiprocessing.Pool(1).map(f, ["ab"])

8Ciepło

1Odpowiedz

Jak uniknąć tego błędu piklowania i jaki jest najlepszy sposób na zrównoleglenie tego kodu w Pythonie?

Mam następujący kod. def main(): (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv for i in range(minI, maxI, iStep): for j in range(minJ, maxJ, jStep): p = m

59Ciepło

3Odpowiedz

Catch Ctrl + C/SIGINT i wyjdź z multiprocesse z wdziękiem w pythonie

Jak złapać Ctrl + C w wieloprocesowy program python i zakończyć wszystkie procesy z wdziękiem, potrzebuję rozwiązania do pracy zarówno w systemie UNIX, jak i Windows. Próbowałem następujące: import mu

28Ciepło

2Odpowiedz

Python Multiprocessing: Jaka jest różnica między mapą a imapem?

Próbuję nauczyć się korzystać z pakietu wieloprocesorowego Pythona, ale nie rozumiem różnicy między map i imap. Czy różnica oznacza, że map zwraca, powiedzmy, faktyczną tablicę lub zbiór, podczas gd

36Ciepło

3Odpowiedz

parallelizing operację wektorowego w NumPy

korzystanie Powiedzmy, na przykład, numpy.sin() Poniższy kod zwróci wartość sinusa dla każdej wartości tablicy a: import numpy a = numpy.arange(1000000) result = numpy.sin(a) Ale moja maszyna ma 3

40Ciepło

3Odpowiedz

W jaki sposób program szeregujący OS odzyskuje kontrolę nad procesorem?

Niedawno zacząłem się uczyć, jak działa procesor i system operacyjny i jestem nieco zdezorientowany, jeśli chodzi o działanie maszyny z jednym procesorem i systemem operacyjnym, który zapewnia wieloza