Różnice między przetwarzaniem strumienia a przetwarzaniem wiadomości

Question

Jaka jest podstawowa różnica między przetwarzaniem strumienia a tradycyjnym przetwarzaniem komunikatów? Jak mówią ludzie, kafka jest dobrym wyborem do przetwarzania strumieniowego, ale w istocie kafka to framework komunikacyjny podobny do ActivMQ, RabbitMQ itp.

Dlaczego na ogół nie mówimy, że ActiveMQ jest również dobry do przetwarzania strumieniowego.

Czy to prędkość, przy której wiadomości są spożywane przez konsumenta określa, czy jest to strumień?

Answer 1

W tradycyjnej przetwarzania wiadomości, należy zastosować prostych obliczeń na wiadomości - w większości przypadków indywidualnie jednej wiadomości.

W przetwarzania potokowego, zastosowaniu skomplikowanych operacji na wielu strumieni wejściowych i wielu rekordów (czyli komunikaty) w tym samym czasie (jak i agregacji łączy).

Ponadto tradycyjny system komunikacji nie może iść „w czasie” - czyli automatyczne usuwanie wiadomości po dostali dostarczone do wszystkich subskrybowanych konsumentów. W przeciwieństwie do Kafka zachowuje wiadomości, ponieważ używa modelu opartego na ciągnięciu (tj. Dane wyciągane przez konsumenta z Kafki) przez konfigurowalny czas. Pozwala to konsumentom "przewijać" i konsumować wiadomości wiele razy - lub jeśli dodasz nowego konsumenta, może przeczytać całą historię. Umożliwia to przetwarzanie strumieniowe, ponieważ pozwala na bardziej złożone aplikacje. Co więcej, przetwarzanie strumienia niekoniecznie wymaga przetwarzania w czasie rzeczywistym - chodzi o przetwarzanie nieskończonego strumienia wejściowego (w przeciwieństwie do przetwarzania wsadowego, które jest stosowane do skończonych danych wejściowych).

A Kafka oferuje API Kafka Connect and Streams - jest to platforma przetwarzania strumieniowego, a nie tylko system przesyłania wiadomości/pub-sub (nawet jeśli używa go w swoim rdzeniu).

Answer 2

Zasadniczo Kafka jest messaging ramy podobną do ActiveMQ lub RabbitMQ. Dołożono starań, aby Kafka był streamowany przez Confluent.

https://www.confluent.io/blog/introducing-kafka-streams-stream-processing-made-simple/

Dlaczego Kafka wchodzi w obraz, gdy mówimy o przetwarzaniu Stream?

ramy przetwarzanie Stream różni z wejściem data.In przetwarzania wsadowego, masz jakieś pliki przechowywane w systemie plików i chcesz stale przetwarzać i przechowywać które w jakiś bazie. Podczas gdy w środowisku przetwarzania strumieniowego, takim jak Spark, Storm, itp., Otrzymywane będą ciągłe dane wejściowe z niektórych urządzeń czujnikowych, a tam wykorzystywany jest api feed i kafka do zasilania silnika strumieniowego.