hadoop

17Ciepło

4Odpowiedz

Jak czytać zagnieżdżony w kolekcji Spark

Mam tabeli parkiet z jednej z kolumn jest struct, array < < col1, col2 .. Cöln >> można uruchomić zapytań przeciwko tej tabela w Hive przy użyciu składni LATERAL VIEW. Jak odczytać tę tabelę w RDD, a

5Ciepło

1Odpowiedz

Jak podzielić na partycje skompresowany plik w Apache Spark?

Mam tysiące skompresowanych plików o rozmiarze 2 GB w HDFS. Używam iskry do przetwarzania tych plików. Używam metody Spark textFile() do załadowania plików z HDFS. Moje pytanie brzmi: jak mogę podziel

9Ciepło

1Odpowiedz

Klient zookeepera nie zapewnia interfejsu CLI z komunikatem "obsługa jline jest wyłączona"

Właśnie podniosłem CDH 5.4 i zainstalowałem zookeepera. Użyłem ZKCli z powodzeniem wiele razy wcześniej. Tym razem uruchomienie linii poleceń zatrzymuje przed wejściem do wiersza z Welcome to ZooKeepe

7Ciepło

2Odpowiedz

Hadoop wiele wyjść z wykonywaniem spekulacji

Mam zadanie, które zapisuje dane wyjściowe avro w wielu katalogach zorganizowanych przez kilka pól rekordów wejściowych. For example : Process records of countries across years and write in a dire

6Ciepło

1Odpowiedz

Tuning Hive Queries, który używa tabeli bazowej HBase

Mam tabelę w Hbase, powiedzmy "tbl" i chciałbym zapytać o nią przy użyciu Ula Hive. Dlatego odwzorowane stół do ula następująco: CREATE EXTERNAL TABLE tbl(id string, data map<string,string>) STORED B

10Ciepło

3Odpowiedz

Błąd Apache Spark podczas startu

Chcę włączyć pojedyncze skupienie w Apache Spark, zainstalowałem java i scala. Ściągnąłem iskrę dla Apache Hadoop 2.6 i rozpakowałem. Próbuję włączyć iskrzące powłoki, ale wyrzucę mi błąd, a ponadto n

5Ciepło

2Odpowiedz

Plik ORC Hadoop - jak to działa - jak pobrać metadane

Jestem nowy w pliku ORC. Przeszedłem przez wiele blogów, ale nie zrozumiałem dokładnie. Prosimy o pomoc i wyjaśnienie poniższych pytań. Czy mogę pobrać schemat z pliku ORC? Wiem, że w Avro schemat moż

5Ciepło

2Odpowiedz

Jak można debugować skrypt świnia

Jeżeli podczas biegu prostego skryptu przez grupę w świni dla dużych terabajtów danych, skrypt utknął na powiedzmy 70%, to co można zrobić, aby zdiagnozować problem?

9Ciepło

3Odpowiedz

eksportowanie tabeli Hive do csv w hdfs

Wiem, że istnieje znany problem z ogranicznikami podczas zapisywania tabeli w pliku csv (lub innym pliku tekstowym) w Hive. Więc zastanawiam się, czy możecie mi pomóc ominąć to. Mam istniejącą tabelę

14Ciepło

1Odpowiedz

Hadoop "Nie można załadować natywnej biblioteki hadoopów dla twojej platformy" błąd iskry dokowania?

Używam docker-spark. Po uruchomieniu spark-shell, wyprowadza: 15/05/21 04:28:22 DEBUG NativeCodeLoader: Failed to load native-hadoop with error: java.lang.UnsatisfiedLinkError:no hadoop in java.librar