2016-04-06 29 views
8

Kiedy próbuję zużywać wiadomości z serwera kafka, który jest hostowany w ec2 z narzędziem kafka konsoli (V 0.9.0.1, myślę, że to używa starych konsumenckich API) Dostaję następujący wyjątek . Jak mogę to przezwyciężyć? .Kafka rzuca java.nio.channels.ClosedChannelException

#/kafka-console-consumer.sh --zookeeper zookeeper1.xx.com:2181 --topic MY_TOPIC --from-począwszy

[2016-04-06 14:34:58,219] WARN Fetching topic metadata with correlation id 0 for topics [Set(MY_TOPIC)] from broker [BrokerEndPoint(1014,kafka3.xx.com,9092)] failed (kafka.client.ClientUtils$) 
java.nio.channels.ClosedChannelException 
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) 
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75) 
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:74) 
    at kafka.producer.SyncProducer.send(SyncProducer.scala:119) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:59) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:94) 
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63) 
[2016-04-06 14:34:58,222] WARN Fetching topic metadata with correlation id 0 for topics [Set(MY_TOPIC)] from broker [BrokerEndPoint(1013,kafka22.xx.com,9092)] failed (kafka.client.ClientUtils$) 
java.nio.channels.ClosedChannelException 
    at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) 
    at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:75) 
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:74) 
    at kafka.producer.SyncProducer.send(SyncProducer.scala:119) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:59) 
    at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:94) 
    at kafka.consumer.ConsumerFetcherManager$LeaderFinderThread.doWork(ConsumerFetcherManager.scala:66) 
    at kafka.utils.ShutdownableThread.run(ShutdownableThread.scala:63) 
[2016- 

Odpowiedz

5

Powodem oryginalnym zamkniętym wyjątkiem kanału jest, ja miałem jakiś problem DNS, który mam rozwiązać poprzez edycję pliku moim lokalnym gospodarze

+1

Bardzo dziękuję za podpowiedź. Przez pewien czas miałem ten sam problem zarówno w centach, jak iw Windows 10. Jak tylko naprawiłem plik "hostów" w obu komputerach, błąd zniknął! – johnshumon

1

To jest rzeczywiście UWAGA - nie jest duży sprawa. Może twój temat jest uszkodzony? Spróbuj odtworzyć temat.

+0

Nie sądzę dla wszystkich tematów daje samego typu pls problem spojrzeć http://stackoverflow.com/questions/36442668/failed-to-add-leader-for-partitions-in-kafka – Ratha

+0

Występuję z kilkoma problemami z nowym klientem, który przechodzi nieskończoną pętlę bez wiadomości odpytywania. Tak więc, dławiamy się starszymi konsumenckimi interfejsami API (konsolowymi konsolami narzędziowymi z dystrybucją kafka), a teraz informujemy o tym, aby uzyskać ten typ zamkniętych problemów z kanałami. – Ratha

+0

Oto niektóre problemy, z jakimi mam do czynienia: http://stackoverflow.com/questions/36393867/if-my- producent-produkujący-to-dlaczego-konsument-nie mógł-spożywać-to-utknąć-pol http://stackoverflow.com/questions/36439818/warn-error-while-fetching-metadata-with-correlation-id-1 -my-topic-invalid-to – Ratha