Jak wdrożyć Kafka Consumer w Scala

Question

Próbuję wdrożyć konsumenta kafka w scala. Widziałem milion samouczków, jak to zrobić w Javie, a nawet niektóre (like this one), które mówią, że jest to scala, ale jest napisane w Javie.

Czy ktoś wie, gdzie mogę znaleźć przykład, jak go napisać w Scali? Dopiero zacząłem się uczyć Scali, więc może ten połączony przykład może być użyty w Scali, mimo że jest napisany na Jawie lub czymś podobnym, ale szczerze mówiąc nie mam pojęcia, co robię w tej chwili. Wszystko, co google, po prostu łączy mnie z tym, jak to zrobić w Javie.

Answer 1

Powód, dla którego większość przykładów znajduje się w Javie, polega na tym, że nowy KafkaProducer począwszy od 0.8.2.2 jest napisany w Javie.

Zakładając, że używasz SBT jako system kompilacji, a zakładając, że pracuje z Kafki 0.8.2.2 (można zmienić wersję w razie potrzeby), musisz:

libraryDependencies ++= { 
    Seq(
    "org.apache.kafka" %% "kafka" % "0.8.2.2", 
    "org.apache.kafka" % "kafka-clients" % "0.8.2.2", 
) 
} 

Prostym przykładem powinny Ci zacząć:

import scala.collection.JavaConverters._ 
import org.apache.kafka.clients.consumer.KafkaConsumer 
import org.apache.kafka.common.serialization.StringDeserializer 

object KafkaExample { 
    def main(args: Array[String]): Unit = { 
    val properties = new Properties() 
    properties.put("bootstrap.servers", "localhost:9092") 
    properties.put("group.id", "consumer-tutorial") 
    properties.put("key.deserializer", classOf[StringDeserializer]) 
    properties.put("value.deserializer", classOf[StringDeserializer]) 

    val kafkaConsumer = new KafkaConsumer[String, String](properties) 
    kafkaConsumer.subscribe("firstTopic", "secondTopic") 

    while (true) { 
     val results = kafkaConsumer.poll(2000).asScala 
     for ((topic, data) <- results) { 
     // Do stuff 
     } 
    } 
} 

Answer 2

można również zajrzeć do szablonu roboczego całkowicie opierać się na Scala tutaj: https://github.com/knoldus/activator-kafka-scala-producer-consumer Ta aplikacja zawiera kod, który chcesz użyć tutaj.

Mam nadzieję, że rozwiązałem Twój problem dzięki!