hadoop

5Ciepło

1Odpowiedz

Jak znaleźć najnowszą partycję w tabeli HIVE

Mam tabelę partycjonowaną - z 201 partycjami. Potrzebuję znaleźć najnowszą partycję w tej tabeli i użyć jej do opublikowania moich danych. Kwerenda do wyszukania listy wszystkich partycji to: use db;

6Ciepło

1Odpowiedz

Phoenix nie wyświetla ujemnych wartości całkowitych poprawnie

Tworzę tabelę HBASE o wartości liczby całkowitej -17678. Ale kiedy odzyskuję ją z pheonix, daje mi to inną pozytywną wartość. RowKey jest złożonym rowkey i nie ma problemu z rowkey. HBase wstawiania:

5Ciepło

1Odpowiedz

NieobsĹ,ugiwana Podkwerenda Wyrażenie: Powiązanie ekspresji nie zawiera bezwarunkowego kolumnę odwołuje

W Hive następujące kwerendy nie: Select a,b,c from t1 where a in (0,100) AND b in (select b from t2 where d>2 GROUP BY 1) LIMIT 1; Schemat: t1(a,b,c) t2(b,d,e) dzienniku błędów: NieobsĹ,ugiw

5Ciepło

4Odpowiedz

ClassNotFoundException: org.apache.hive.jdbc.HiveDriver

Jestem całkiem nowy w Javie. Próbuję połączyć się z serwerem poprzez hive Java i używany przykładowy kod z https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-JDBC

5Ciepło

1Odpowiedz

Spark Yarn Architecture

miałem pytanie odnośnie tego zdjęcia tutorial miałem następujący. Tak więc na podstawie tego obrazu w architekturze opartej na przędzy wykonanie aplikacji iskrownika wygląda mniej więcej tak: Najpierw

5Ciepło

5Odpowiedz

IllegalAccessError do stoper guawy jest z org.apache.hadoop.mapreduce.lib.input.FileInputFormat.listStatus

Próbuję uruchomić małą aplikację zapłonową i otrzymuję następujący wyjątek: Exception in thread "main" java.lang.IllegalAccessError: tried to access method com.google.common.base.Stopwatch.<init>()V f

5Ciepło

1Odpowiedz

Spark: długie opóźnienie między zadaniami

Tak więc uruchamiamy iskrownik, który wyodrębnia dane i dokonuje rozległej konwersji danych i zapisuje je w kilku różnych plikach. Wszystko działa dobrze, ale dostaję losowe ekspansywne opóźnienia mię

7Ciepło

1Odpowiedz

Czytaj całe pliki tekstowe z kompresji w Spark

Mam następujący problem: załóżmy, że mam katalog zawierający skompresowane katalogi, które zawierają wiele plików, przechowywanych na HDFS. Chcę utworzyć RDD składają kilka obiektów typu T, tj: contex

6Ciepło

1Odpowiedz

Czy można kopiować bezpośrednio z Parkietu/S3 na Redshift przy użyciu Spark SQL/Hive/Presto?

Mamy ogromne ilości danych serwera przechowywanych w S3 (wkrótce będzie to format Parquet). Dane wymagają transformacji, więc nie może to być prosta kopia z S3. Będę używał Spark, aby uzyskać dostęp d

9Ciepło

1Odpowiedz

Ukryj katalog nadpisywania wstawiania w formacie json

Jak mogę wstawić katalog zastępczy ze schematem json? Istnieje surowy stół avro ula; (jest to faktycznie ma wiele pól) tb_test-------- name string kickname string ----------------- następnie chcę