hadoop

10Ciepło

4Odpowiedz

Hadoop natywne biblioteki nie znaleziono na OS/X

Pobrałem hadoop kodu źródłowego z github i skompilowana z opcją native: mvn package -Pdist,native -DskipTests -Dtar -Dmaven.javadoc.skip=true Następnie skopiowane .dylib pliki do $ HADOOP_HOME/lib c

7Ciepło

1Odpowiedz

Skonfigurowano klaster HA z Hive-2.0.1 (wsparcie Derby) wyświetla nadmiarowe nazwy baz danych?

Skonfigurowałem klaster HA z jednym węzłem Namenode i jednym trybem gotowości i jednym węzłem danych. Uruchomiłem bazę danych derby z hiveserver2 (Hive-2.0.1). Po uruchomieniu serwera ula otwórz plik

8Ciepło

4Odpowiedz

Jaka jest różnica między -hivevar i -hiveconf?

Od ula -h: --hiveconf <property=value> Use value for given property --hivevar <key=value> Variable subsitution to apply to hive commands. e.g. --hivevar A=B

9Ciepło

2Odpowiedz

Wykorzystanie pamięci Spark/przędzy Python

Mam aplikację świecy zapłonowej, która jest zabijana przez przędzę za przekroczenie limitów pamięci. Mam krok, który wymaga załadowania niektórych zasobów, które są nieco ciężkie (500+ MB), więc używa

11Ciepło

2Odpowiedz

Sortowanie JavaPairRDD najpierw według wartości, a następnie według klucza

Próbuję posortować RDD według wartości, a jeśli wiele wartości jest równych, potrzebuję tych wartości przez klucz leksykograficzny. Kod: JavaPairRDD <String,Long> rddToSort = rddMovieReviewReducedByKe

9Ciepło

3Odpowiedz

Konwertowanie IntWritatble na int

Mam następujący kod i nie rozumiem, dlaczego użyto metody get() w podświetlonej linii. Jeśli usuniemy tę metodę get(), wyśle mi błąd. To, co mogę z niego wyciągnąć to: get() Metoda zwraca wartość in

13Ciepło

1Odpowiedz

Generowanie metadanych dla plików parkietu

Mam tabelę ula, która jest zbudowana na obciążeniu zewnętrznych plików parkietu. Pliki Paruqet powinny być generowane przez zadanie iskry, ale z powodu ustawienia flagi metadanych na wartość false, ni

6Ciepło

2Odpowiedz

Jak zmienić format daty w ulu?

Mój stół w ulu ma pole daty w formacie "2016/06/01". ale uważam, że nie jest to zgodne z formatem "2016-06-01". Nie można ich porównać na przykład. Oba są ciągami. Więc chcę wiedzieć, jak zrobić je w

12Ciepło

1Odpowiedz

Schemat ewolucji w formacie parkietowym

Obecnie używamy formatu danych Avro w produkcji. Z N dobrych punktów Avro wiemy, że jest dobry w ewolucji schematu. Teraz oceniamy Format parkietowy ze względu na jego wydajność podczas odczytywania l

12Ciepło

2Odpowiedz

Dlaczego tak wiele zadań w mojej pracy iskier?

Mam robotę iskrową, która pobiera plik z 8 rekordami z hdfs, wykonuje prostą agregację i zapisuje ją z powrotem do Hadoop. Zauważam, że są setki zadań, kiedy to robię. Nie jestem również pewien, dlacz