Rozglądam się za niektórymi zasobami, które sprawdzają najlepsze rozwiązania w zakresie przesyłania danych opartego na AWS przy użyciu Kafki, burzy, iskry (strumieniowej i wsadowej), które czytają i zapisują do Hbase za pomocą różnych usługi mikro, aby odsłonić warstwę danych. Dla mojego lokalnego środowiska myślę o stworzeniu obrazów dokerów lub włóczęgów, które pozwolą mi na interakcję ze środowiskiem. Mój problem polega na tym, jak przygotować coś na funkcjonalne środowisko od końca do końca, które jest bliższe podsłuchu, w którym porzucone miejsce byłoby zawsze mieć środowisko, ale to staje się drogie. Podobnie jak w przypadku środowiska perf, wydaje mi się, że mogę potrzebować puntu i mieć konta usług, które mogą mieć "bieg świata", ale inne konta, które będą ograniczone przez zasoby obliczeniowe, więc nie przytłaczają klastra .Najlepsze praktyki testowania integracji danych Big Data
Jestem ciekawa, jak inni radzą sobie z tym samym problemem i jeśli myślę o tym wstecz.