flume

6Ciepło

1Odpowiedz

Generowanie avro schematu z opcjonalnymi wartościami

Próbuję napisać bardzo prosty schemat avro (łatwy, ponieważ właśnie wskazuję mój bieżący numer), aby zapisać plik danych avro na podstawie danych przechowywanych w formacie json. Sztuczka polega na ty

5Ciepło

2Odpowiedz

Zlew niestandardowy dla Flume-ng null event

Próbuję napisać niestandardowy zlew do flume-ng. Spojrzałem na istniejące zlewozmywaki i dokumentację i zakodowałem je. Jednak metoda 'process()', która powinna odbierać zdarzenia, zawsze kończy się w

13Ciepło

1Odpowiedz

jak skutecznie przenieść dane z Kafki do tabeli Impala?

Oto kroki do obecnego procesu: Flafka zapisuje logi do „strefy lądowania” na HDFS. Zlecenie, zaplanowane przez Oozie, kopiuje kompletne pliki ze strefy lądowania do strefy postoju. Dane dotyczące prze

7Ciepło

1Odpowiedz

Avro Plik tekstowy generowany przez Flume Twitter Agent nie jest czytany w Javie

Nie można odczytać i przeanalizować pliku utworzonego przez transmisję strumieniową danych Twittera za pomocą agenta Flume twitter, ani za pomocą Java ani Avro Tools. Moim wymaganiem jest zamiana form

5Ciepło

1Odpowiedz

Impala - plik nie znaleziono błąd

Używam impala z flume jako filestream. Problemem jest koryta jest dodanie tymczasowe pliki z rozszerzeniem .tmp, a następnie, gdy są one usunięte zapytań impala są niepowodzeniem z następującym komuni

6Ciepło

1Odpowiedz

Jak mogę uzyskać logi zebrane na konsoli za pomocą Flume NG?

Testuję Flume NG (1.2.0) do zbierania dzienników. To prosty test, w którym Flume zbiera plik dziennika flume_test.log i drukuje zebrane logi do konsoli jako sysout. conf/flume.conf jest: agent.sources

5Ciepło

1Odpowiedz

Czy apache flume zlew hdfs akceptuje dynamiczną ścieżkę do pisania?

Jestem nowy w Apache Flume. Próbuję zobaczyć, jak mogę uzyskać json (jako źródło http), parsować go i przechowywać na dynamicznej ścieżce na hdfs zgodnie z zawartością. Na przykład: jeśli JSON jest: [

16Ciepło

1Odpowiedz

flume vs kafka vs inni

Być może to pytanie zostało zadane wcześniej, ale myślę, że dobrze jest rozważyć to jeszcze raz, biorąc pod uwagę, że technologie te zostały dojrzałe. Chcemy użyć jednego z flume, kafka, skrybów lub i

6Ciepło

2Odpowiedz

Flume nie zapisuje do HDFS, chyba że zostanie zabity

Podążyłem za link w celu ustawienia zlewu TwitterSource i HDFS. poleceń używany do uruchamiania agenta: bin/flume-ng agent -n TwitterAgent -c conf -f conf/flume-conf.properties -Dflume.root.logger=DEB

5Ciepło

1Odpowiedz

Używanie lokalnego systemu plików jako źródła Flume

Właśnie zacząłem uczyć się Big Data, w tym czasie pracuję nad Flume. Typowy przykład, z jakim się spotkałem, to przetwarzanie tweetów (przykład z Cloudera) za pomocą Java. Tylko do celów testowania i