Harmonogram zadań i zadań W Hadoop

Question

Jestem trochę zdezorientowany terminami "Planowanie zadań" i "Planowanie zadań" w Hadoop, kiedy czytałem o opóźnionym harmonogramie targów in this slide.

Proszę mnie poprawić jeśli się mylę w moich następujących założeniach:

1. Domyślny planista, Pojemność scheduler i Fair planiści są ważne tylko na poziomie pracy, gdy wiele miejsc pracy są zaplanowane przez użytkownika. Nie odgrywają żadnej roli, jeśli w systemie jest tylko jedno zadanie. Te algorytmy szeregowania stanowią podstawę do "planowania zadań". Każde zadanie może mieć wiele map i zmniejszać liczbę zadań oraz sposób przypisywania ich do każdego komputera? Jak są zaplanowane zadania dla pojedynczego zadania? Na jakiej podstawie "planowanie zadań"?

Answer 1

W przypadku fair scheduler, gdy istnieje pojedynczy praca działa, że ​​praca wykorzystuje całą gromadę. Po przesłaniu innych zadań, zwolnione gniazda zadań są przypisywane do nowych zadań, dzięki czemu każde zadanie otrzymuje mniej więcej tyle samo czasu procesora.

W przeciwieństwie do domyślnego harmonogramu Haoop Hadoop, który tworzy kolejkę zadań, pozwala to na zakończenie krótkich zadań w rozsądnym czasie, nie powodując przy tym długich zadań. Jest to także łatwy sposób udostępniania klastra między wieloma użytkownikami. Uczciwe współużytkowanie może również działać z priorytetami pracy - priorytety są używane jako wagi do określania ułamka całkowitego czasu obliczeń, które otrzymuje każda praca.

Urządzenie o nazwie CapacityScheduler zostało zaprojektowane w celu umożliwienia współdzielenia dużego klastra, zapewniając jednocześnie każdej organizacji minimalną gwarancję wydajności. Główną ideą jest to, że dostępne zasoby w klastrze Hadoop Map-Reduce są podzielone na kilka organizacji, które wspólnie finansują klaster w oparciu o potrzeby obliczeniowe. Dodatkową korzyścią jest to, że organizacja może uzyskać dostęp do nadwyżki przepustowości, z której inni nie korzystają. Zapewnia to elastyczność organizacjom w opłacalny sposób.