hadoop

13Ciepło

1Odpowiedz

Najłatwiejszy sposób instalacji zależności Pythona na węzłach executorów Spark?

Rozumiem, że możesz wysyłać pojedyncze pliki jako zależności za pomocą programów Python Spark. Ale co z pełnoprawnymi bibliotekami (np. Numpy)? Czy Spark ma sposób na wykorzystanie dostarczonego mened

8Ciepło

1Odpowiedz

Jak mogę odczytać z jednej instancji HBase, ale piszę do innej?

Obecnie mam dwa tabele Hbase (można je nazwać tableA i tableB). Za pomocą jednoetapowego zadania MapReduce dane w tableA są odczytywane i zapisywane do tableB. Obecnie obie tabele znajdują się w tym s

7Ciepło

4Odpowiedz

Jak zainstalować pakiety RHadoop (Rmr, Rhdfs, Rhbase)?

Właściwie próbuję swojego poziomu najlepiej zintegrować z R, ale mam ten błąd. RMR '' pakietów, 'rJava', 'RJSONIO', '', 'rhdfs rhbase', 'plyrmr' nie są dostępne (dla R wersji 3.1.3) kroki w celu zinte

5Ciepło

1Odpowiedz

Jak zapisać/wyeksportować model Spark ML Lib do PMML?

Chciałbym wyszkolić model używając Spark ML Lib, ale następnie móc wyeksportować model w formacie agnostycznym. Zasadniczo chcę oddzielić sposób tworzenia i konsumowania modeli. Moją przyczyną tego od

6Ciepło

4Odpowiedz

stop-all.sh w Spark sbin/folder nie zatrzymuje wszystkich węzłów slave

Witam Mam klaster Spark w trybie autonomicznym, tzn. Mam jeden proces Spark-master i trzy procesy Spark-slave działające w moim laptopie (Spark klaster w tej samej maszynie). Uruchamianie mastera i ni

9Ciepło

1Odpowiedz

Apache Drill kontra Spark

Mam trochę doświadczenia z Apache Spark i Spark-SQL. Ostatnio znalazłem projekt Apache Drill. Czy możesz opisać mi, jakie są najważniejsze zalety/różnice między nimi? Przeczytałem już Fast Hadoop Anal

5Ciepło

3Odpowiedz

Jak zainstalować protobuf 2.5 na Arch Linux do kompilowania hadoop 2.6.0 za pomocą maven 3.3.1

Szukam instalacji Protobuf 2.5.0 na Arch Linux, aby protoc-2.5.0.so był zainstalowany w systemie operacyjnym, aby móc dalej budować hadoop 2.6.0 ze źródła i ułatwić mi życie! :) BTW, protobuf 2.6.0 ni

5Ciepło

3Odpowiedz

jak przejechać dołączyć unnest tablicy json w presto

Given tabeli zawierającej kolumnę JSON tak: {"payload":[{"type":"b","value":"9"}, {"type":"a","value":"8"}]} {"payload":[{"type":"c","value":"7"}, {"type":"b","value":"3"}]} Jak mogę napisać zapytanie

7Ciepło

3Odpowiedz

Obserwator plików HDFS

Czy mogę obserwować plik na HDFS? Scenariusz: Pliki są lądowania na HDFS continuously.I chcą rozpocząć Spark Job gdy liczba plików osiągnęła próg (może to być liczba plików lub rozmiar plików). Czy mo

16Ciepło

1Odpowiedz

Apache Hadoop Yarn - niewykorzystania rdzeni

Bez względu na to, ile ja majstrować przy ustawieniach w yarn-site.xml czyli przy wszystkich poniższych opcji yarn.scheduler.minimum-allocation-vcores yarn.nodemanager.resource.memory-mb yarn.nodema