hadoop

5Ciepło

1Odpowiedz

Przędza robocza z iskrą nie działa z Javą 8

Mam klaster z 1 master i 6 slaves, który używa gotowej wersji hadoop 2.6.0 i iskry 1.6.2. Byłem uruchomiony MR MR i iskier pracy bez problemu z openjdk 7 zainstalowany na wszystkich węzłach. Jednak, g

7Ciepło

1Odpowiedz

Amazon EMR: uruchamianie niestandardowego słoika z wejściami i wyjściami z S3

Próbuję uruchomić klaster EMR, który ma niestandardowy krok słoika. Program pobiera dane wejściowe z S3, a wyjścia do S3 (a przynajmniej to właśnie chcę osiągnąć). W konfiguracji kroku, mam następując

5Ciepło

1Odpowiedz

Który z nich jest szybszy? Spark SQL z klauzulą Where lub Use of Filter w Dataframe po Spark SQL

Który z nich jest szybszy? Spark SQL z klauzul Where lub Use of Filter w Dataframe po Spark SQL? Jak Wybierz col1, col2 z zakładki 1, gdzie col1 = val; Albo dataframe df = sqlContext.sql (Wybierz col1

5Ciepło

1Odpowiedz

Wyjściowa nazwa pliku wyjściowego i dołączenie do zapisu

Wiem, że to pytanie zostało zadane wcześniej, ale nie mogę uzyskać jasnej działającej odpowiedzi. result.saveAsTextFile(path); przy użyciu iskry saveAsTextFile wyjście jest zapisany pod nazwą „part-

16Ciepło

2Odpowiedz

Całość zadania jest liczbą ujemną w Spark UI

Podczas korzystania spark-1.6.2 i pyspark, widziałem to: , gdzie można zobaczyć, że aktywne zadania są ujemny numer (różnicę The suma zadań z wykonanych zadań). Jakie jest źródło tego błędu? Węzeł że

7Ciepło

1Odpowiedz

co to jest serwer HiveServer i oszczędzania

Właśnie zacząłem uczyć się Hive. Istnieją trzy terminy, które często widziałem w książkach Hive lub tutorialach Hive. Serwer Hive, usługa Hive i serwer Thrift. Co to jest? jak są powiązane? jaka jest

6Ciepło

3Odpowiedz

iskka: SAXParseException podczas pisania do parkietu na s3

Próbuję przeczytać w jakimś jsonie, wywnioskować schemat i napisać go ponownie jako parkiet do s3 (s3a). Z jakiegoś powodu, około jednej trzeciej drogi przez część zapisu przebiegu, iskry zawsze błędy

5Ciepło

1Odpowiedz

ClassCastException na zapytania tabeli spadek apache zapłonowej ula

używam następującą kwerendę ula: this.queryExecutor.executeQuery("Drop table user") i otrzymuję następujący wyjątek: java.lang.LinkageError: ClassCastException: attempting to castjar:file:/usr/hdp/2

5Ciepło

1Odpowiedz

Uzyskaj liczbę wejść i wyjść MapReduce w Javie

Chcę uzyskać liczbę wejść i wyjść fazy mapy oraz fazę zmniejszania i czas kompletnej mapy/zmniejszyć pracę z Javą. Statystyki te są zapisywane na terminalu, ale muszę się go za pomocą kodu Java i zapi

7Ciepło

1Odpowiedz

Pętla bash nad plikami w katalogu hdfs

Potrzebuję pętli nad wszystkimi plikami csv w systemie plików Hadoop. Mogę listę wszystkich plików w katalogu HDFS z > hadoop fs -ls /path/to/directory Found 2 items drwxr-xr-x - hadoop hadoop 2 2