Używanie php + gearman + node.js

Question

Rozważam budowę witryny za pomocą php, ale jest kilka aspektów, które działałyby o wiele lepiej, gdyby były wykonane w node.js. W tym samym czasie duże części strony muszą pozostać w PHP. Dzieje się tak dlatego, że wiele funkcji jest już opracowanych w PHP, a przebudowa, testowanie itd. Byłoby zbyt dużym przedsięwzięciem, i szczerze mówiąc, te części witryny działają doskonale w PHP.

Rozważam przebudowanie sekcji w pliku node.js, która skorzystałaby z działania większości w węźle node.js, a następnie przekazanie przez PHP żądania do node.js przy użyciu urządzenia Gearman. W ten sposób skanuję skalę, uruchamiając więcej pracowników i kierując się rozkładem obciążenia.

Nasza strona ma duży ruch i jestem zaniepokojony, czy mechanik poradzi sobie z tym ładunkiem. I wa utrzymać to pytanie wydajne, więc skupmy się w dużej mierze na następujących punktów adresowalnych:

• Czy gearman obsługiwać wszystkie oczekiwane obciążenia zakładając mamy pamięć (potencjalnie wokół 3000+ kolejce pracy w momencie, z kilkoma tysiącami przetwarzanymi na sekundę)?
• Czy to działałoby lepiej, gdybym tylko przekazał żądania do node.js przy użyciu CURL, a jeśli tak, to czy plik node.js zapewnia jakikolwiek sposób dystrybucji obciążenia na wiele wystąpień danego skryptu?
• Czy mechanik może być skonfigurowany w taki sposób, aby nie było pojedynczego punktu awarii?
• Jakie problemy widzisz, zarówno jeśli chodzi o rozwój, jak i skalowanie?

Zwracam uwagę szeroki zakres punktów więc ktoś przegląda ten słupek może zbierać szeroki zakres informacji w jednym miejscu dotyczących spraw, które silnie wpływają na siebie wzajemnie.

Oczywiście przetestuję to wszystko, ale chcę zebrać jak najwięcej informacji przed potencjalnym podjęciem czegoś takiego.

Edytuj: Duży powód, dla którego używam ekwipunku, nie wynika z jego niezablokowanej struktury, ale z powodu jego czystej prędkości.

Answer 1

Mogę mówić tylko na pytania o Gearman:

Czy gearman obsługiwać wszystkie oczekiwane obciążenia zakładając mamy pamięć (potencjalnie wokół 3000+ kolejce miejsc pracy w momencie, z kilku tysięcy przetwarzane za druga)?

Krótki: Tak

Długi: Wszystko ma swoje granice. Jeśli twoje zlecenia są zbyt duże, możesz napotkać problemy. Gearman przechowuje swoją kolejkę w pamięci .. więc jeśli twoje ładunki przekroczą ilość pamięci dostępnej dla Gearmana, napotkasz problemy.

Czy mechanik może być skonfigurowany w taki sposób, że nie ma pojedynczego punktu awarii?

Gearman posiada wtyczkę/rozszerzenie/komponent dostępny do używania MySQL jako magazynu trwałości. W ten sposób, jeśli Gearman lub sama maszyna ulegnie zniszczeniu, możesz przywrócić ją z powrotem tam, gdzie ją przerwała. Wiele serwerów-pracowników może pomóc w utrzymaniu działania, jeśli inni pracownicy zostaną pokonani.

Answer 2

Węzeł ma cluster module, który może wykonać podstawowe równoważenie obciążenia dla n procesów. Może się przydać.

Powszechną architekturą tutaj, w nodejs-land, jest sprawdzenie, czy twoje węzły rozmawiają http, a następnie wykorzystują pewien sposób równoważenia obciążenia, taki jak http proxy lub service registry. Jestem pewien, że jest mniej więcej tak samo gdzie indziej. Nie wiem wystarczająco dużo o sprzęcie, żeby powiedzieć, czy to będzie "wystarczająco dobre", ale jeśli to jest ogólny pomysł, wyobrażam sobie, że będzie dobrze. Przynajmniej inni ludzie byliby zainteresowani usłyszeniem, jak poszło, jestem pewien!

Edycja: Pamiętaj, że chrupanie numerów zablokuje pętlę zdarzeń węzła! Jest to dość oczywiste, jeśli się nad tym zastanowić, ale z pewnością o czymś warto pamiętać.