hadoop

5Ciepło

3Odpowiedz

Niepowodzenie zadania związanego z mapowaniem po przesłaniu go z komputera z systemem Windows

Próbuję przesłać zadanie M/R z komputera z systemem Windows do klastru hadoop na Linuksie. Używam hadoop 2.2.0 (HDP 2.0). otrzymuję następujący błąd: 2014-06-06 08:32:37,684 [main] INFO Job.monitorAnd

7Ciepło

3Odpowiedz

Yarn JobHistory Błąd: Nie udało przekierowanie do container_1400260444475_3309_01_000001

My MR praca wykonywana jest z powodzeniem .Ale kiedy jestem sprawdzenie jego historii dostaniem błąd jako: Failed redirect for container_1400260444475_3309_01_000001 Failed while trying to construct

6Ciepło

3Odpowiedz

Hadoop NameNode recovery from metadata backup

Próbuję odzyskać metadane NN. Zrobiłem kopię zapasową metadanych węzła Namenode i Journal. Zawiera dzienniki edycji i fsimages. W moim systemie są dwa numery NN. Wykonuję kopię zapasową metadanych dla

8Ciepło

2Odpowiedz

Czy druid może zastąpić hadoop?

Druid jest używany do przetwarzania w czasie rzeczywistym i przetwarzania wsadowego. Ale czy może całkowicie zastąpić hadoop? Jeśli nie, dlaczego? Jaka jest przewaga hadoop nad druidem? Przeczytałem,

8Ciepło

4Odpowiedz

Ładowanie danych z jednej tabeli Hive do drugiej z partycją

Mam dane w jednej tabeli Hive i chciałbym załadować dane do innej tabeli ula. Tabela źródłowa to reg_logs, która ma 2 partycje, datę i godzinę. Dane są ładowane do tej tabeli co godzinę. Schemat jest:

6Ciepło

1Odpowiedz

Eksportowanie Scikit Learn Losowo Forest do użytku na platformie Hadoop

Opracowałem klasyfikator spamu przy użyciu pand i scikit, ucząc się do momentu, w którym jest on gotowy do integracji z naszym systemem opartym na hadoopie. W tym celu muszę wyeksportować klasyfikator

5Ciepło

2Odpowiedz

Zadanie Hadoop nie powiodło się, gdy zostało przesłane przez użytkowników innych niż przędza (MRv2) lub mapowane (MRv1)

Używam klastra testowego z uruchomioną MRv1 (CDH5) sparowanego z LocalFileSystem i jedynym użytkownikiem, który jestem w stanie uruchomić zadania zgodnie z mapowaniem (as mapred to użytkownik uruchami

5Ciepło

2Odpowiedz

Pakiet org.apache.hadoop.conf nie istnieje po ustawieniu ścieżki klasy

Jestem początkujący w hadoopie, korzystając z przewodnika dla początkujących hadoopa jako samouczka. Używam mac OSX 10.9.2 i wersję Hadoop 1.2.1 mam ustawić wszystkie odpowiednie ścieżki klasy, gdy zg

10Ciepło

2Odpowiedz

Hive utwórz tabelę z wejściami z zagnieżdżonych podkatalogów

Mam dane w formacie Avro w HDFS w ścieżkach plików takich jak: /data/logs/[foldername]/[filename].avro. Chcę utworzyć tabelę Hive nad wszystkimi tymi plikami dziennika, tj. Wszystkie pliki w postaci /

8Ciepło

1Odpowiedz

Nie można uruchomić zadania MapReduce na hadoop 2.4.0

Jestem nowy w hadoop i tutaj jest mój problem. Skonfigurowałem hadoop 2.4.0 z jdk1.7.60 na klastrze z 3 komputerami. Jestem w stanie wykonać wszystkie polecenia z hadoop. Teraz mam zmodyfikowany przyk