Szukam narzędzia przepływu pracy do wykonywania złożonych zadań redukcji map. Mam na myśli Oozie, ale także chcę zbadać Kaskadę. Czy istnieje przykładowy kod lub przykład, który łączy istniejące zadania M/R za pomocą kaskadowego API? Czy możesz podać porównanie Kaskadowania Oozie Vs?Comaparison narzędzia do zarządzania przepływem pracy: Oozie Vs Cascading
Kaskadowanie i Ozie nie należą do tej samej kategorii.
Oozie to program do planowania przepływu pracy.
Kaskadowanie to interfejs API służący do tworzenia przepływów pracy. Jest agnostyczny w stosunku do programów planujących, tzn. Powinien działać z dowolnym systemem planowania, którego używasz.
Może jest trochę zamieszania, ponieważ doktorzy Ooziego wspominają o "DAG" i obaj biegają na szczycie Hadoop.
Ponadto, Kaskadowanie ma pojęcie "dostępności danych" w obsłudze punktu kontrolnego, co jest obsługiwane w Oozie, aczkolwiek inaczej.
Osobiście bawić się zarówno do pewnego stopnia, co znalazłem interesujący z kaskadowych jest
1) zwięzły i wyrazisty w kategoriach prostych słów kluczowych, takich jak przepływ, beczki, rury itp
2) niesamowite podejście oparte na TDD do lokalnego rozwoju i badań
3) ładny widok planisty (plik .dot) i będzie przydatny po zakończeniu projektu, więc utrzymanie jest łatwe.
4) podejście oparte na DSL przy użyciu groovy, scala, cloujre. więc nie musisz się martwić o uczenie się żadnego nowego języka, a raczej hadoop.
5) proste wdrożenie w chmurze (np. Wsparcie dla amazon jako wdrożenie słoika).
6) można wywoływać wszystko, na przykład istniejącą świnkę lub ul, lub czysty inny słoik MR, o ile eksponują java api.
7) niesamowite dla prac związanych z ML i NLP.