Biblioteka zbiorczego planowania rozproszonego ogólnego przeznaczenia dla języka Java

Question

Poszukuję ogólnej biblioteki do planowania wielu zadań. Biblioteka musi zapewniać możliwość dzielenia zadań między węzłami w klastrze, przeprowadzania równoważenia obciążenia i odporności na awarie - tak więc, jeśli jakiś węzeł ulegnie awarii, zadania węzła muszą zostać rozdzielone między pozostałe węzły.

Spojrzałem na Hadoop - ale wygląda na to, że będzie dobrze działać w przypadku zadań zmniejszających mapę. W moim przypadku zadania są po prostu nadawcami powiadomień, kontrolerów stanu obiektu itp.

Kwarc wydaje się być świetny - ale nie jest jasne, jak dobrze jest, gdy przychodzi do wysyłania zdarzeń do węzłów.

Jakieś inne opcje?

Answer 1

Brzmi jak przypadek użycia dla Akka.

Answer 2

Albo można też spróbować Quartz może obsłużyć prawie wszystko co chcesz :)

Answer 3

zgadzam się z Christian że Akka wydaje się lepsze dopasowanie. Mechanizm kwarcowy doskonale nadaje się do tego, co robi, ale jego podstawowym blokiem konstrukcyjnym jest zadanie, które powinno zostać wykonane. To nie pomoże ci rozłożyć twojej pracy na komponenty, które można dystrybuować.

Jeśli wszystkie twoje zadania mogą zostać rozłożone na zadania, wtedy Quartz może pomóc Ci je zaplanować, to jest to, co robi najlepiej. Ale jeśli zadanie musi się rozłożyć na podzadania, musisz użyć innej struktury.

Inną opcją może być spring batch, w zależności od potrzeb.

Answer 4

Można wypróbować ProActive, harmonogram przepływu pracy, który dobrze integruje się z Javą (napisaną w Javie). Obsługuje wymienione funkcje. Jest to projekt typu open source, część OW2.

Następujące funkcje na przykład dostępne są:

• Workflows, czyli zbiór zadań z zależnościami i konstrukcjami, takimi jak pętla/if/replikacja
• Zadania są wykonywane na węzłach, czyli środki uruchomione na różnych komputerach
• Zadania mogą być wznowiona automatycznie po awarii węzła

[Disclaimer] Jestem częścią Activeeon, firma zapewnia profesjonalną obsługę Pr oActive [/ disclaimer]