yarn

7Ciepło

1Odpowiedz

How wordCount mapZmniejsz liczbę zleceń, uruchom na klastrze przędzy hadoop z apache tez?

Jako strona GitHub z tez mówi tez jest bardzo prosta, a przy jego sercu ma tylko dwa składniki: Silnik rurociągu przetwarzania danych oraz mistrza do przetwarzania danych aplikacja, gdzie po jednym ra

hadoop mapreduce yarn apache-tez 2015-07-17

---

14Ciepło

5Odpowiedz

problem Running Spark Praca na Yarn Klastra

Chcę uruchomić mój zapłonową Praca w Hadoop YARN trybie klastra, a ja za pomocą następującego polecenia: spark-submit --master yarn-cluster --driver-memory 1g --executor-memory 1g

hadoop apache-spark hdfs yarn cloudera 2015-02-24

---

9Ciepło

2Odpowiedz

Jak ustawić liczbę executorów Spark?

Jak skonfigurować z kodu Java (lub Scala) liczbę executorów o numerach SparkConfig i SparkContext? Widzę ciągle 2 executorów. Wygląda na to, że spark.default.parallelism nie działa i dotyczy czegoś in

java scala cluster-computing apache-spark yarn 2014-10-02

---

9Ciepło

4Odpowiedz

Apache Spark: ustawienie instancji executorów nie zmienia executorów

Mam aplikację Apache Spark działającą w klastrze YARN (iskra ma 3 węzły w tym klastrze) w trybie klastra. Gdy aplikacja jest uruchomiona, Spark-UI pokazuje, że 2 executory (każdy działający w innym wę

apache-spark yarn 2015-04-29

---

16Ciepło

1Odpowiedz

Apache Hadoop Yarn - niewykorzystania rdzeni

Bez względu na to, ile ja majstrować przy ustawieniach w yarn-site.xml czyli przy wszystkich poniższych opcji yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodema

hadoop apache-spark yarn resourcemanager 2015-04-30

---

7Ciepło

2Odpowiedz

Jak wyodrębnić identyfikator aplikacji z kontekstu PySpark

previous question zaleca sc.applicationId, ale jest nie obecny w PySpark, tylko w scala. Jak mogę określić identyfikator aplikacji (dla yarn) mojego procesu PySpark?

apache-spark yarn pyspark 2015-06-22

---

7Ciepło

2Odpowiedz

Hadoop wiele wyjść z wykonywaniem spekulacji

Mam zadanie, które zapisuje dane wyjściowe avro w wielu katalogach zorganizowanych przez kilka pól rekordów wejściowych. For example : Process records of countries across years and write in a dire

java hadoop yarn multipleoutputs speculative-execution 2015-05-05

---

8Ciepło

1Odpowiedz

HADOOP/YARN - Czy ResourceManager i NameNode hdf są zawsze zainstalowane na tym samym hoście?

Czy "menedżer zasobów" i "nazwa pliku hdfs" są zawsze zainstalowane na tym samym hoście? 1) Kiedy chcę wysłać żądanie HTTP (przędza REST API) do Używam tego internetową URI: http://<rm http address:po

apache rest hadoop yarn webhdfs 2015-03-30

---

6Ciepło

1Odpowiedz

Jak zabić zadanie mapowane rozpoczęte przez gałąź?

Pracuję teraz nad CDH 5.1. Zaczyna normalne zadanie Hadoop od YARN, ale gałąź nadal działa z mapred. Czasami duże zapytanie zawiesi się na długi czas i chcę go zabić. Mogę znaleźć to wielkie zadanie p

hadoop mapreduce hive yarn cloudera-cdh 2015-02-12

---

6Ciepło

1Odpowiedz

Czy mogę zmienić pamięć executorów Sparka w czasie wykonywania?

Czy jest możliwa zmiana wartości pamięci executora w czasie pracy w Sparku? Powodem, dla którego chcę to zrobić, jest to, że dla niektórych zadań map chcę, aby program planujący przędzę umieszczał każ

java scala hadoop apache-spark yarn 2015-07-12

---