Tornado Async Wyniki zwracania HTTP przyrostowo

Question

Z tego co rozumiem z dokumentacji modułu tornado.gen wynika, że ​​tornado.gen.Task składa się z tornado.gen.Callback i tornado.gen.Wait z każdą parą Callback/Wait skojarzoną z unikalnymi kluczami. ..

@tornado.web.asynchronous 
    @tornado.gen.engine 
    def get(self): 
     http_client = AsyncHTTPClient() 
     http_client.fetch("http://google.com", 
         callback=(yield tornado.gen.Callback("google"))) 

     http_client.fetch("http://python.org", 
         callback=(yield tornado.gen.Callback("python"))) 

     http_client.fetch("http://tornadoweb.org", 
         callback=(yield tornado.gen.Callback("tornado"))) 
     response = yield [tornado.gen.Wait("google"), tornado.gen.Wait("tornado"), tornado.gen.Wait("python")] 

     do_something_with_response(response) 
     self.render("template.html") 

Tak więc powyższy kod otrzyma wszystkie odpowiedzi z różnych adresów URL. Teraz to, co muszę zrobić, to zwrócić odpowiedź, gdy tylko jeden z klientów http_ zwraca dane. Jeśli więc "tornadoweb.org" najpierw zwróci dane, powinno to zrobić self.write (respose), a pętla w def get() powinna pozostać w oczekiwaniu na zakończenie innych klientów HTTP_. Wszelkie pomysły na pisanie tego przy użyciu interfejsu tornado.gen.

bardzo niejasne realizacja (i składniowo niepoprawne), co staram się zrobić jak byłoby to

class GenAsyncHandler2(tornado.web.RequestHandler): 
    @tornado.web.asynchronous 
    @tornado.gen.engine 
    def get(self): 
     http_client = AsyncHTTPClient() 
     http_client.fetch("http://google.com", 
          callback=(yield tornado.gen.Callback("google"))) 

     http_client.fetch("http://python.org", 
          callback=(yield tornado.gen.Callback("python"))) 

     http_client.fetch("http://tornadoweb.org", 
          callback=(yield tornado.gen.Callback("tornado"))) 

     while True: 
      response = self.get_response() 
      if response: 
       self.write(response) 
       self.flush() 
      else: 
       break 
     self.finish() 


    def get_response(self): 
     for key in tornado.gen.availableKeys(): 
      if key.is_ready: 
       value = tornado.gen.pop(key) 
       return value 
     return None 

Answer 1

Poza tym, rzeczywiście istnieje metoda A WaitAll który czeka na wszystkich wyników i zwrotów, kiedy wszystkie HTTPCliens zakończyły dając odpowiedzi. Podałem różnicę w moim oddziale tornado (https://github.com/pranjal5215/tornado). Dodałem klasę WaitAny, która jest asynchroniczna WaitAll i zwraca wynik, gdy tylko jeden HTTPClient zwróci wynik.

Różnica jest (https://github.com/pranjal5215/tornado/commit/dd6902147ab2c5cbf2b9c7ee9a35b4f89b40790e) (https://github.com/pranjal5215/tornado/wiki/Add-WaitAny-to-make-WaitAll-return-results-incrementally)

wykorzystanie

próbki:

class GenAsyncHandler2(tornado.web.RequestHandler): 
    @tornado.web.asynchronous 
    @tornado.gen.engine 
    def get(self): 
     http_client = AsyncHTTPClient() 
     http_client.fetch("http://google.com", 
          callback=(yield tornado.gen.Callback("google"))) 

     http_client.fetch("http://python.org", 
          callback=(yield tornado.gen.Callback("python"))) 

     http_client.fetch("http://tornadoweb.org", 
          callback=(yield tornado.gen.Callback("tornado"))) 
     keys = set(["google", "tornado", "python"]) 
     while keys: 
      key, response = yield tornado.gen.WaitAny(keys) 
      keys.remove(key) 
      # do something with response 
      self.write(str(key)+"  ") 
      self.flush() 
     self.finish() 

Answer 2

To męska sprawa, kiedy nie powinno się używać inline callbacks, tj gen. Również self.render zostanie wywołany po zakończeniu wszystkich wywołań zwrotnych. Jeśli chcesz zwrócić odpowiedź z serwera częściowo - wyrenderuj ją częściowo.

Pomyśl w ten sposób (jest to tylko pomysł z dużym pokoju poprawy):

response = [] 
    @tornado.web.asynchronous 
    def get(self): 
     self.render('head.html') 
     http_client = AsyncHTTPClient() 

     http_client.fetch("http://google.com", 
         callback=self.mywrite) 

     http_client.fetch("http://python.org", 
         callback=self.mywrite) 

     http_client.fetch("http://tornadoweb.org", 
         callback=self.mywrite) 

     self.render('footer.html') 
     self.finish() 


    def mywrite(self, result): 
     self.render('body_part.html') 
     self.response.add(result) 
     if len(self.response) == 3: 
     do_something_with_response(self.response)