multiprocessing

5Ciepło

1Odpowiedz

Wysoki poziom wykorzystania pamięci tylko podczas przetwarzania wieloprocesowego

Próbuję użyć biblioteki przetwarzania wieloprocesorowego Pythona, aby uzyskać pewną wydajność. W szczególności używam jego funkcji map. Teraz, z jakiegoś powodu, kiedy wymieniam go na pojedynczy przet

15Ciepło

7Odpowiedz

Jaki jest najlepszy sposób na dzielenie dużych plików w Pythonie na potrzeby wieloprocesowości?

Prowadzę wiele "zawstydzająco równoległych" projektów, które chciałabym zrównoważyć z modułem multiprocessing. Jednak często wymagają one czytania dużych plików (większych niż 2 GB), przetwarzania ich

21Ciepło

3Odpowiedz

Argumenty łańcuchowe w procesie wieloprocesorowym Pythona

Próbuję przekazać argument łańcuchowy do funkcji docelowej w procesie. W jakiś sposób ciąg jest interpretowany jako lista tak wielu argumentów, jak są znaki. Jest to kod: import multiprocessing def

6Ciepło

3Odpowiedz

Wieloprocesorowość w Pythonie nie jest ładnie odtwarzana za pomocą uuid.uuid4()

Próbuję wygenerować plik uuid dla nazwy pliku, a także korzystam z modułu do przetwarzania wieloprocesowego. Nieprzyjemnie, wszystkie moje uuidy kończą się dokładnie tak samo. Oto mały przykład: impor

5Ciepło

1Odpowiedz

Implementacja specjalnego typu kolejki do przetwarzania wieloprocesowego w Pythonie

Wyobraź sobie odwrócone drzewo binarne z węzłami A, B, C, D, E, F na poziomie 0. węzły G, H, I na poziomie 1, węzeł J na poziomie 2, a węzłem K w poziomie 3. Poziom 1: G = func (a, B), H = func (C, D)

12Ciepło

3Odpowiedz

Procesy potomne utworzone przy użyciu modułu wieloprocesorowego Pythona nie będą drukować

Mam problem z kodem poniżej iz dowolnym kodem korzystającym z funkcji print w procesach podrzędnych. Nie widzę żadnych wydrukowanych wyciągów, nawet jeśli używam sys.std[err|out].write('worker') zamia

10Ciepło

2Odpowiedz

Korzystanie z puli wieloprocesowej pracowników

Mam następujący kod napisany, aby mój leniwy drugi rdzeń procesora działał. Zasadniczo po prostu znajdź żądane pliki "morze" w hierarchii katalogów, a następnie wykonaj zestaw skryptów zewnętrznych, a

11Ciepło

2Odpowiedz

Wieloprocesorowość i wartość dodatkowa

Czy ktoś wie o łatwym sposobie ustawienia wartości procesowej lub puli podczas tworzenia w trybie wieloprocesorowym?

19Ciepło

1Odpowiedz

Proces w języku Python nie będzie wywoływał atexit

Próbuję użyć atexit w Process, ale niestety to nie działa. Oto niektóre przykładowy kod: import time import atexit import logging import multiprocessing logging.basicConfig(level=logging.DEBUG)

36Ciepło

2Odpowiedz

Jak przekazać odwołanie do kolejki do funkcji zarządzanej przez pool.map_async()?

Chcę długo działający proces, aby zwrócić jego postęp w kolejce (lub coś podobnego), który będę podawać do paska postępu paska. Potrzebuję również wyniku, gdy proces się zakończy. Przykład testu tutaj