hiveql

5Ciepło

2Odpowiedz

PySpark: withColumn() z dwoma warunkami i trzema wynikami

Pracuję z Spark i PySpark. Staram się osiągnąć rezultat równoważny następującemu Pseudokod: df = df.withColumn('new_column', IF fruit1 == fruit2 THEN 1, ELSE 0. IF fruit1 IS NULL OR fruit2 IS NUL

6Ciepło

1Odpowiedz

SemanticException dodanie partiton Hive stół

Próbuję utworzyć partycję na stole Hive z następujących czynności: > alter table stock_ticker add if not exists > partition(stock_symbol='ASP') > location 'data/stock_ticker_sample/stock_symbol=ASP/

30Ciepło

6Odpowiedz

Jak eksportować dane z Spark SQL do pliku CSV

Komenda ta działa z HiveQL: insert overwrite directory '/data/home.csv' select * from testtable; Ale Spark SQL Dostaję błąd ze śladu org.apache.spark.sql.hive.HiveQl stosu: java.lang.RuntimeExceptio

9Ciepło

1Odpowiedz

Ukryj katalog nadpisywania wstawiania w formacie json

Jak mogę wstawić katalog zastępczy ze schematem json? Istnieje surowy stół avro ula; (jest to faktycznie ma wiele pól) tb_test-------- name string kickname string ----------------- następnie chcę

5Ciepło

1Odpowiedz

Używanie CSV Serde z Hive utworzyć tabelę konwertuje wszystkie typy pól na ciąg

Jeśli utworzyć tabelę i określić CSVSerde, wówczas wszystkie pola są konwertowane na typ łańcucha. hive> create table foo(a int, b double, c string) row format serde 'com.bizo.hive.serde.csv.CSVSerde'

7Ciepło

7Odpowiedz

spadnie wiele tabel z tego samego prefiksu w Ulu

Mam kilka tabel w ulu, który ma taki sam prefiks jak poniżej .. temp_table_name temp_table_add temp_table_area Istnieje kilka setek tabel jak to w mojej bazy danych wraz z wieloma innymi tabelami.

5Ciepło

1Odpowiedz

ula zewnętrzny podzielono stół

pierwszy stworzony ula tabeli zewnętrznej partycje za pomocą kodu i daty CREATE EXTERNAL TABLE IF NOT EXISTS XYZ ( ID STRING, SAL BIGINT, NAME STRING, ) PARTITIONED BY (CODE INT,DATE STRING) RO

6Ciepło

1Odpowiedz

Literał tablicowy w ulu

Jak napisać literał tablicowy w Ulu? SELECT PERCENTILE(my_column, [0.5, 0.25, 0.50, 0.75, 0.95]) AS quantiles FROM my_table zwraca błąd FAILED: ParseException line xx:xx cannot recognize input near

13Ciepło

1Odpowiedz

Rozbij (transponuj?) Wiele kolumn w tabeli Spark SQL

Używam Spark SQL (wspominam, że jest on w Sparku, jeśli ma wpływ na składnię SQL - nie jestem dostatecznie znany, aby się upewnić) i mam tabela, którą próbuję zmienić strukturę, ale utknąłem próbując

7Ciepło

2Odpowiedz

Wybierz dwa górne rzędy w Ulu

Jestem tu noobie. Próbuję pobrać 2 najlepsze tabele z mojej listy pracowników na podstawie wynagrodzenia w ulu (wersja 0.11). Ponieważ nie obsługuje funkcji TOP, czy istnieją jakieś alternatywy? Czy m