Wydajność współbieżności w Django (apache2 prefork/mod_wsgi), co robię źle?

Question

Przede wszystkim nie jestem w żaden sposób niezadowolony z wydajności mojej strony z Django, która nie osiąga dużego ruchu, do tej pory ponad 1000 odwiedzin dziennie.

Byłem ciekawy, jak dobrze poradziłby sobie z dużymi obciążeniami drogowymi, więc użyłem narzędzia ab do wykonania testów porównawczych.

Zauważyłem, że wydajność, gdy współbieżność jest większa niż 1, zapewnia taką samą ilość żądań, co jedno równoległe połączenie.

Czy nie należy zwiększać/zwiększać wymagań względem współbieżności?

Im na maszynie wirtualnej z 1 GB pamięci RAM, apache2 (prefork), mod_wsgi, memcached i mysql.
Cała zawartość strony została zapisana w pamięci podręcznej, baza danych nie zawiera żadnych trafień. I jeśli memcached zrzuci wpis, będzie tylko 2 lekkie (indeksowane) zapytania - i powinno natychmiast zostać ponownie zapisane w pamięci podręcznej.

Benchmarking dane: (uwaga: zrobiłem Benchmark to z 2000 i 10k wniosków z tych samych wyników)

dla startową, podawane przez apache2/mod_wsgi przez Django:
-n100 C4: http://dpaste.com/97999/ (58,2 reqs/s)
-n100 -C1: http://dpaste.com/97998/ (57,7 reqs/s)

Na robots.txt bezpośrednio z apache2:
-n100 C4: http://dpaste.com/97992/ (4917 reqs/s)
-n100 -c1: http://dpaste.com/97991/ (1412 reqs/s)

To moje apache conf: http://dpaste.com/97995/

Edycja: Dodano więcej informacji

wsgi.conf: http://dpaste.com/98461/

mojawitryna. conf: http://dpaste.com/98462/

Mój program obsługi wsgi:

import os, sys 
os.environ['DJANGO_SETTINGS_MODULE'] = 'myproject.settings' 
import django.core.handlers.wsgi 
application = django.core.handlers.wsgi.WSGIHandler() 

Answer 1

Podczas korzystania z prefabrykatów MPM i mod_wsgi w trybie wbudowanym z wieloma procesami, prawdopodobnie zabijasz wydajność swojego pudełka. Na początek proponuję przeczytać:

http://blog.dscpl.com.au/2009/03/load-spikes-and-excessive-memory-usage.html

Korzystanie z trybu wbudowanego jak jesteś, trzeba dostroić parametry MPM ostrożnie. Ustawienie MaxRequestsPerChild na niezerową nie jest dobrym początkiem, ponieważ będziesz okresowo wymuszać procesy Apache, w wyniku czego spowodujesz skok obciążenia, ponieważ wszystko musi przeładować.

Sugerowałby użycie narzędzia MPM dla pracownika oraz aplikacji internetowej Python działającej w trybie demona mod_wsgi. To na początek spowoduje dużo mniej uruchamianych procesów, mniej narzutów pamięci i da większą przewidywalność wokół wydajności systemu. Następnie może przyjrzeć się bliżej, dlaczego rzeczy mogą działać wolniej.

Jedno zwrócić uwagę na to, co można dostać w następnym odcinku wyjścia „AB”:

Connection Times (ms) 
       min mean[+/-sd] median max 
Connect:  0 0 0.0  0  0 
Processing:  0 0 0.2  0  2 
Waiting:  0 0 0.1  0  2 
Total:   0 0 0.2  0  2 

Jeśli kolumna max pokazuje duże wartości, to jesteś trafiony przez kosztach załadunku aplikacja należnych aby nie eliminować ich z testów poprzez wstępne ładowanie lub krótki interwał restartu procesu.