Tworzenie dynamicznych kolejki z Seler

Question

Oto mój scenariusz:

Kiedy użytkownik loguje się do mojej strony, ja w kolejce kilka zadań dla danego użytkownika (zazwyczaj każde zadanie zabiera 100s msek i istnieją 100s zadań na użytkownika). Te zadania są umieszczane w kolejce do domyślnej kolejki selera i mam 100 pracowników. Używam stron internetowych, aby pokazać postęp w czasie rzeczywistym, gdy zadania są wykonywane na zapleczu. Życie jest dobre, jeśli mam tylko 1 lub 2 użytkowników aktywnych.

Teraz, gdy kilku równoczesnych użytkowników loguje się do mojej witryny, ci ostatni użytkownicy są ustawieni w kolejce za początkowymi użytkownikami i ich zadania z głodują (ponieważ wszystkie zadania przechodzą do tej samej kolejki). Moim zamysłem jest stworzenie dynamicznej kolejki na użytkownika, aby zapewnić uczciwość. Jednak zgodnie z dokumentacją Selera (http://docs.celeryproject.org/en/latest/userguide/routing.html#defining-queues), wydaje mi się, że muszę zdefiniować statycznie kolejki.

Jakieś sugestie dotyczące najlepszych praktyk dotyczących używania selera naciowego dla mojego scenariusza?

Answer 1

Można dynamicznie przypisać zadanie do kolejki w czasie wykonywania podczas jego wywoływania, odsyłając calling.html#routing-options. To działałoby, jeśli masz włączoną CELERY_CREATE_MISSING_QUEUES.

Answer 2

http://docs.celeryproject.org/en/latest/userguide/workers.html#queues

celery -A proj control add_consumer foo -d worker1.local 

samo można w sposób dynamiczny za pomocą metody app.control.add_consumer():

app.control.add_consumer('foo', reply=True) 
[{u'worker1.local': {u'ok': u"already consuming from u'foo'"}}] 

app.control.add_consumer('foo', reply=True, 
destination=['worker1@example.com'])