hdfs

7Ciepło

1Odpowiedz

Moje lokalne urządzenie nie ma instalacji hdfs. Chcę pobrać pliki ze zdalnego klastra hdfs. Jaki jest najlepszy sposób, aby to osiągnąć? Czy muszę get pliki z hdfs do jednego z maszyn klastra fs, a na

5Ciepło

1Odpowiedz

Spark Yarn Architecture

miałem pytanie odnośnie tego zdjęcia tutorial miałem następujący. Tak więc na podstawie tego obrazu w architekturze opartej na przędzy wykonanie aplikacji iskrownika wygląda mniej więcej tak: Najpierw

7Ciepło

1Odpowiedz

Pętla bash nad plikami w katalogu hdfs

Potrzebuję pętli nad wszystkimi plikami csv w systemie plików Hadoop. Mogę listę wszystkich plików w katalogu HDFS z > hadoop fs -ls /path/to/directory Found 2 items drwxr-xr-x - hadoop hadoop 2 2

6Ciepło

2Odpowiedz

Jak zapisać RDD w HDFS, a potem go odczytać?

Mam RDD, którego elementy są typu (Long, String). Z jakiegoś powodu chcę zapisać cały RDD w HDFS, a później także przeczytać RDD z powrotem w programie Spark. czy jest to możliwe do zrobienia? A jeśli

6Ciepło

1Odpowiedz

Apache Spark odczytuje plik jako strumień z HDFS

Jak mogę odczytać plik jako strumień z hdfs używając Apache Spark Java? Nie chcę czytać całego pliku, chcę mieć strumień plików, aby zatrzymać czytanie pliku, gdy spełniony jest jakiś warunek, jak mog

7Ciepło

1Odpowiedz

Czytaj całe pliki tekstowe z kompresji w Spark

Mam następujący problem: załóżmy, że mam katalog zawierający skompresowane katalogi, które zawierają wiele plików, przechowywanych na HDFS. Chcę utworzyć RDD składają kilka obiektów typu T, tj: contex

5Ciepło

2Odpowiedz

SparkSQL - odczytać pliku parkiet bezpośrednio

Jestem migracji z Impala SparkSQL, stosując następujący kod do odczytu tabeli: my_data = sqlContext.read.parquet('hdfs://my_hdfs_path/my_db.db/my_table') Jak mogę powołać SparkSQL powyżej, więc może

6Ciepło

2Odpowiedz

Domyślna liczba reduktorów

W Hadoop, jeśli nie ustawiliśmy liczby reduktorów, to ile będzie liczba reduktorów? Tak jak liczba elementów mapujących jest zależna od (całkowity rozmiar danych)/(wielkość podziału wejścia), E.g. jeś

6Ciepło

2Odpowiedz

Namenode wysoka dostępność żądanie klienta

Czy ktoś proszę mi powiedzieć, że jeśli używam aplikacji java do żądania niektórych operacji wysyłania plików/pobierania do HDFS konfigurację Namenode ha, na których wniosek ten pierwszy? Chodzi mi o

5Ciepło

1Odpowiedz

Jak przepłukać tabelę w HBase

Korzystam z HBase (0,98 w Client with server jako HBase 1.1.2) z bazowym magazynem danych jako HDFS. Próbowałem przepłukać tabelę za pomocą następującego kodu i jestem w stanie zobaczyć dane przepłuki