apache-kafka

17Ciepło

2Odpowiedz

Czy można dodać partycje do istniejącego tematu w Kafce 0.8.2

Mam działający klaster Kafka z 2 partycjami. Szukałem sposobu na zwiększenie liczby partycji do 3. Jednak nie chcę stracić istniejących wiadomości w temacie. Próbowałem zatrzymać Kafkę, modyfikując pl

8Ciepło

1Odpowiedz

Konsument Kafki "nie udało się znaleźć lidera" podczas pobierania metadanych tematu

Kiedy próbuję użyć skryptu producenta i konsumenta (0.9.0) firmy Kafka do wysyłania/odbierania wiadomości z tematu, otrzymuję poniższe błędy. Producent Błąd [2016-01-13 02:49:40,078] ERROR Error when

5Ciepło

3Odpowiedz

Spark Streaming z Kafki ma błąd numRecords nie może być ujemny

Jego rodzaj dziwnego błędu, ponieważ wciąż przesyłam dane do kafka i zużywam wiadomość od kafka i Exception in thread "main" java.lang.IllegalArgumentException: requirement failed: numRecords must not

13Ciepło

1Odpowiedz

jak skutecznie przenieść dane z Kafki do tabeli Impala?

Oto kroki do obecnego procesu: Flafka zapisuje logi do „strefy lądowania” na HDFS. Zlecenie, zaplanowane przez Oozie, kopiuje kompletne pliki ze strefy lądowania do strefy postoju. Dane dotyczące prze

5Ciepło

2Odpowiedz

Spark Streaming Kafka stream

Mam pewne problemy podczas próby czytania z kafki z strumieniowaniem iskier. Mój kod to: val sparkConf = new SparkConf().setMaster("local[2]").setAppName("KafkaIngestor") val ssc = new StreamingConte

8Ciepło

1Odpowiedz

Apache Kafka: Nie udało się zaktualizować metadanych/java.nio.channels.ClosedChannelException

Po prostu zaczynam od Apache Kafka/Zookeeper i mam problemy z konfiguracją klastra na AWS. Obecnie mam trzy serwery: Jeden prowadzony Zookeeper i dwa działające Kafka. Mogę uruchamiać serwery Kafka be

7Ciepło

1Odpowiedz

Kafka 0.9 - Jak utworzyć temat przez java api

Nowość w Kafce. Trudno sobie wyobrazić, jak używać aplikacji java-api do tworzenia tematów w wersji 0.9. Ten answer dotyczy 0,8. Widzę, że Cluster ma metody sprawdzania informacji o partycji, temacie

9Ciepło

1Odpowiedz

Jak automatycznie uruchomić Kafkę po uruchomieniu systemu w Ubuntu 14.04?

Czy Kafka ma oficjalny sposób (np. Skrypt init.d), aby uruchomić Kafkę przy uruchomieniu systemu? Jedyna oficjalna metoda zacząć Kafka Widziałem to: nohup ~/kafka/bin/kafka-server-start.sh ~/kafka/con

6Ciepło

1Odpowiedz

Konwertowanie danych na generyczne zapisy w pliku confluent.io i przesyłanie za pośrednictwem produktu KafkaProducer

Jestem całkowicie nowym użytkownikiem Kafki i Avro i próbuję użyć pakietu konfluentującego. Mamy istniejące POJO, których używamy do JPA i chciałbym móc po prostu utworzyć instancję moich POJO bez kon

5Ciepło

1Odpowiedz

Błąd rejestru Kafka: Nie udało się zapisać rekordu Noop w sklepie kafka

Próbuję uruchomić rejestr schematów kafka, ale otrzymuję komunikat o błędzie: Nie udało się zapisać rekordu Noop w sklepie kafka. Ślad stosu znajduje się poniżej. Sprawdziłem połączenia z zookeeperem,