Optymalizacja selera do zewnętrznych połączeń HTTP

Question

Używamy selera do generowania połączeń http od strony trzeciej. Mamy około 100 zadań, które po prostu wywołują zewnętrzne wywołania API HTTP. Niektóre zadania wywołują masowo interfejs API, na przykład pół miliona żądań o godzinie 4 rano rano, podczas gdy inne są ciągłym strumieniem wywołań API otrzymujących żądania prawie raz lub dwa razy na sekundę.

Większość czasu reakcji interfejsu API wynosi od 500 do 800 ms.

Obserwujemy bardzo powolne tempo dostawy selera. W przypadku większości z powyższych zadań maksymalna szybkość dostarczania wynosi około 100/s (maks.) Do prawie 1/s (min). Uważam, że jest to bardzo słabe i coś jest zdecydowanie złe, ale nie jestem w stanie dowiedzieć się, co to jest.

Zaczynaliśmy od skupienia 3 serwerów i stopniowo tworzyliśmy klaster 7 serwerów, ale bez poprawy. Próbowaliśmy różnych ustawień współbieżności od autoskalowania do ustalonych 10, 20, 50, 100 pracowników. Nie ma backend wyniku, a naszym brokerem jest RabbitMQ.

Ponieważ nasz czas wykonywania zadań jest bardzo mały, mniej niż sekunda dla większości, staraliśmy się również, aby licznik prefetch był nieograniczony do różnych wartości.

--time-limit=1800 --maxtasksperchild=1000 -Ofair -c 64 --config=celeryconfig_production

Serwery 64 g RAM Centosu 6.6.

Czy możesz mi powiedzieć, co może być nie tak, lub wskazówki, jak go rozwiązać?

Czy powinniśmy iść z geodetami? Chociaż nie mam pojęcia, co to jest.

Answer 1

Po pierwsze - GIL - tak nie powinno być, ponieważ więcej maszyn powinno działać szybciej. Ale - proszę sprawdzić, czy obciążenie idzie tylko na jeden rdzeń serwera ...

Nie jestem pewien, czy w twoim przypadku dobry jest Celer. To świetne oprogramowanie z dużą funkcjonalnością. Ale jeśli to nie jest potrzebne, lepiej użyć czegoś prostszego - na wypadek gdyby niektóre z tych funkcji przeszkadzały. Chciałbym napisać mały PoC, sprawdzić inne oprogramowanie klienta, takie jak pika. Jeśli to nie pomoże - problem dotyczy infrastruktury. Jeśli pomaga - masz rozwiązanie. :)

Trudno powiedzieć, co się dzieje. Może to być coś z IO lub zbyt wieloma połączeniami sieciowymi ... Chciałbym się cofnąć - aby dowiedzieć się, co działa. Napisz testy integracyjne, ale upewnij się, że używasz 2-3 maszyn tylko po to, by użyć pełnego stosu tcp. Pamiętaj, aby mieć CI i uruchamiać te testy raz dziennie, lub tak - aby sprawdzić, czy wszystko idzie w dobrym kierunku.