Indywidualne limity czasu dla concurrent.futures

Question

Widzę dwa sposoby określania limitów czasu w concurrent.futures.

• as_completed()
• wait()

obu metod obsługi N uruchomione przyszłości.

Chciałbym określić indywidualny limit czasu dla każdej przyszłości.

przypadków użycia:

• przyszłość dla pobierania danych z DB ma limit czasu 0,5 sek.
• Przyszłość pobierania danych z serwera HTTP ma limit czasu wynoszący 1,2 s.

Jak sobie z tym poradzić z concurrent.futures? Czy ta biblioteka nie jest właściwym narzędziem?

Wnioski

• AFAIK roztworu przez mdurant jest dobrym obejście.
• Myślę, że następnym razem użyję innej biblioteki. Może asyncio ma lepsze wsparcie dla tego. Zobacz: https://docs.python.org/3/library/asyncio-task.html#asyncio.sleep

Answer 1

Jak o realizację własnych:

wait(dbfutures + httpfutures, timeout=0.5) 
[fut.cancel() for fut in bdfutures if not fut.done()] 
wait(httpfutures, timeout=0.7) 
[fut.cancel() for fut in httpfutures if not fut.done()] 

(lub pętli while ze snu/sprawdzić czy czekać z krótkim timeout)