hadoop

11Ciepło

2Odpowiedz

Używanie Sparka do wyświetlania wszystkich plików w katalogu HDFS Hadoop?

Chcę przechodzić przez wszystkie pliki tekstowe w katalogu Hadoop i liczyć wszystkie wystąpienia słowa "błąd". Czy istnieje sposób na zrobienie hadoop fs -ls /users/ubuntu/, aby wyświetlić listę wszys

6Ciepło

1Odpowiedz

Jak znaleźć odpowiednią porcję między typami instancji hadoopów?

Próbuję dowiedzieć się, ile instancji MASTER, CORE, TASK jest optymalnych dla moich zadań. Nie mogłem znaleźć żadnego samouczka wyjaśniającego, jak to rozgryźć. Skąd mam wiedzieć, czy potrzebuję więce

5Ciepło

1Odpowiedz

Uruchamianie skryptu na wszystkich węzłach Hadoop w Amazon EMR

Jak uruchomić skrypt we wszystkich węzłach (master i slaves) na Amazon EMR, skrypt-runner.jar działa tylko na Namenode.

11Ciepło

3Odpowiedz

Jak uzyskać hadoop umieścić do tworzenia katalogów, jeśli nie istnieją

Używam hadoop Cloudera (0.20.2). W tej wersji, jeśli mogę umieścić plik w systemie plików, ale struktura katalogów nie istnieje, to automatycznie tworzone katalogi nadrzędny: Tak na przykład, jeśli ni

5Ciepło

1Odpowiedz

Zadanie Iskara nie powiodło się z powodu java.io.NotSerializableException: org.apache.spark.SparkContext

Mam do czynienia z powyższym wyjątkiem, gdy próbuję zastosować metodę (ComputeDwt) na wejściu RDD[(Int,ArrayBuffer[(Int,Double)])]. Używam nawet opcji extends Serialization do serializowania obiektów

5Ciepło

2Odpowiedz

Hadoop komunikat o błędzie instalacji

Hadoop OpenJDK Server VM ostrzeżenie: Załadowano bibliotekę /usr/lib/hadoop/lib/native/libhadoop.so.1.0.0 które mogłyby mieć wyłączoną osłonę stosu. VM spróbuje teraz naprawić strażnik stosu. Jest bar

5Ciepło

3Odpowiedz

Skopiuj i rozpakuj pliki z s3 na HDFS

Chcę skopiować plik test.tar.gz z S3 na HDFS. Można to zrobić za pomocą distcp lub s3distcp. Ale moim wymaganiem jest to, że podczas przesyłania plików do HDFS powinienem wyodrębnić je w locie, aw HDF

5Ciepło

2Odpowiedz

Wyjątek IOException: wyjątek dotyczący systemu plików został zamknięty podczas działania oozie workflow

Uruchomiliśmy przepływ pracy w oozie. Zawiera dwie akcje: pierwsza to mapa zmniejszająca zadanie generujące pliki w hdfs, a druga to zadanie, które powinno skopiować dane z plików do bazy danych. Obie

9Ciepło

2Odpowiedz

Omijanie org.apache.hadoop.mapred.InvalidInputException: Input Pattern s3n: // [...] pasuje do 0 plików

To jest pytanie, na które mam already asked na liście mailingowej użytkowników iskry i mam nadzieję, że osiągnę tu więcej sukcesów . Nie jestem pewien, czy jest to bezpośrednio związane z iskrą, ale i

5Ciepło

1Odpowiedz

Stwórz tabelę podzielonego na partycje Pomoc w zakresie rozmieszczenia plików HDFS

Mamy nadzieję, że ktoś może mi pomóc w tworzeniu zewnętrznych tabel partycjonowanych HIVE, automatycznie dodając dane oparte na plikach rozdzielanych przecinkami, znajdujących się w katalogu HDFS. Moj