job-scheduling

10Ciepło

1Odpowiedz

W jaki sposób zadania są przypisywane do executorów w strumieniu Spark?

Załóżmy, że mam 2 lub więcej executorów w aplikacji Spark Streaming. Ustawiłem czas wsadowy na 10 sekund, więc zadanie jest uruchamiane co 10 sekund, odczytując dane wejściowe z mojego HDFS. Jeśli każ

10Ciepło

2Odpowiedz

Implementowanie pierwszego pasującego algorytmu:

Problem: Mam 3 maszyny, każda maszyna ma limit 30 ms, każda maszyna ma 3 strefy, których nie można tam wykonać. Zadania mają wartość P (priorytet) i W (waga, czyli czas wykonania zadania w tej konfigu

15Ciepło

2Odpowiedz

Co to jest praca Spark?

Wykonałem już instalację iskry i wykonałem kilka testów ustawiając węzły główne i robocze. Powiedział, że mam bardzo grubą pomyłkę, co dokładnie oznacza praca w kontekście Sparka (nie SparkContext). M

5Ciepło

1Odpowiedz

Ogranicz harmonogram zadań Condor: jeden na fizyczną maszynę

Muszę uruchomić zadanie Condor w klastrze z wieloma gniazdami na maszynę. Mam dodatkowe wymaganie, aby dwa zadania nie mogły być umieszczone na tym samym komputerze fizycznym jednocześnie na. Wynika t

16Ciepło

1Odpowiedz

Menedżer kolejek zadań z interfejsem RPC

Potrzebuję menedżera kolejek zadań, który mogę kontrolować przez Internet. Powinien być w stanie wykonywać i zatrzymywać procesy, sprawdzać ich status (najlepiej zauważyć i wykonać kod po wyjściu z pr

7Ciepło

2Odpowiedz

Planety czasowe w harmonogramie Round Robin

Jeśli masz bardzo duży (powiedzmy zbyt duży) przedział czasowy dla programu planującego rundy czasowe, jaki efekt wydajności powinien być oczekiwany w systemie operacyjnym? Myślałem tylko, że procesy

9Ciepło

2Odpowiedz

Planowanie procesora: znalezienie czasu burstowego

W algorytmie szeregowania FCFS, wadą jest to, że jeśli proces P1 o wyższym czasie burst występuje przed niektórymi procesami P2, P3 ... z dużo krótszymi czasami burst, to średni czas oczekiwania i śre

13Ciepło

4Odpowiedz

Problemy z harmonogramem GcmNetworkManager

Używam GcmNetworkManager w mojej aplikacji do okresowego wykonywania jednego z zadań. Otrzymuję te 2 błędy i nie mogę ustalić przyczyny. Implementacja jest poprawna, ponieważ nie mogę odtworzyć tego p

20Ciepło

2Odpowiedz

YARN nie wywiązuje się z zasobów w oparciu o udziały w wartości godziwej podczas uruchamiania zadania Spark

Mam problem z ponownym równoważeniem zasobów zadań Apache Spark w kolejkach YARN Fair Scheduled. Dla testów skonfigurowałem Hadoop 2.6 (wypróbowałem również 2.7), aby uruchomić tryb pseudo-rozproszony

8Ciepło

3Odpowiedz

Jak sprawdzić, czy działa Quartz cron?

Jak sprawdzić, czy zaplanowane zadanie kwarcowe działa, czy nie? Czy jest jakieś API do sprawdzania?