hadoop

5Ciepło

2Odpowiedz

różnica między ula serwerze używanymi z ula i iskra

Jaka jest różnica między systemem serwera ula za pomocą jednej z dwóch poniższych poleceń: - hive --service hiveserver2 Running ula serwera zapobiegliwości z spark/sbin$ ./start-thriftserver.sh Czy sł

5Ciepło

1Odpowiedz

Ambari Nazwa Uruchomienie węzła Nie działa, gdy włączony jest tryb bezpieczny.

Mam dziwny problem, próbując ponownie uruchomić mój klaster hadoop w Ambari po ponownym uruchomieniu wszystkich węzłów. Pomimo braku zmian w konfiguracji usługa węzła nazwa nie uruchamia się z błędem

7Ciepło

3Odpowiedz

Nie można znaleźć lub wczytać głównej klasy com.sun.tools.javac.Main hadoop mapreduce

Próbuję nauczyć się MapReduce, ale teraz jestem trochę zagubiony. http://hadoop.apache.org/docs/r2.6.0/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Usage Szczególnie ten

6Ciepło

2Odpowiedz

Hadoop Pig - Usuwanie nagłówka CSV

Moje pliki csv mają nagłówek w pierwszym wierszu. Załadowanie ich do świni powoduje bałagan w kolejnych funkcjach (jak SUM). Na dzień dzisiejszy po raz pierwszy zastosować filtr na danych załadowanych

8Ciepło

1Odpowiedz

HADOOP/YARN - Czy ResourceManager i NameNode hdf są zawsze zainstalowane na tym samym hoście?

Czy "menedżer zasobów" i "nazwa pliku hdfs" są zawsze zainstalowane na tym samym hoście? 1) Kiedy chcę wysłać żądanie HTTP (przędza REST API) do Używam tego internetową URI: http://<rm http address:po

6Ciepło

4Odpowiedz

Połączenie Apache Drill przez Javę

W wiki of apache drill widziałem tylko zapytania uruchamiane przez klienta sqline. Czy istnieje jakiś programowy sposób uruchamiania zapytania w Drill innym niż REST Api? Wszelkie próbki lub wskazówki

5Ciepło

2Odpowiedz

Znaleziono interfejs org.apache.hadoop.mapreduce.TaskAttemptContext

Nie widziałem dotąd rozwiązania mojego konkretnego problemu. To nie działa co najmniej. To doprowadza mnie do szału. Ta szczególna kombinacja nie wydaje się mieć wiele w przestrzeni Google. Mój błąd w

8Ciepło

1Odpowiedz

W sprzężeniu iskry, czy kolejność tabel ma znaczenie jak w przypadku świni?

Podobne do Spark - Joining 2 PairRDD elements Podczas regularnych przyłączyć świni, ostatnia tabela w sprzężeniu nie doprowadza do pamięci, lecz transmitowane przez zamiast, więc jeśli ma małą licznoś

7Ciepło

1Odpowiedz

za pomocą pyspark, odczytu/zapisu obrazów 2D w systemie plików hadoop

Chcę być w stanie odczytać/zapisywać obrazy w systemie plików hdfs i skorzystać z lokalizacji hdfs. Mam kolekcję obrazów, gdzie każdy obraz składa się z tablicach 2D uint16 podstawowej dodatkowych inf

6Ciepło

2Odpowiedz

Jak mogę scalić iskrzenie wyników plików bez ponownej partycji i copyMerge?

używam następny kod: csv.saveAsTextFile(pathToResults, classOf[GzipCodec]) pathToResults katalog ma wiele plików, takich jak część-0000, cz-0001 itp mogę używać FileUtil.copyMerge(), ale jest to bar