BigQuery vs Elasticsearch do analizy i przechowywania logów aplikacji

Question

Badam zalety korzystania z BigQuery w celu uzyskania wglądu w logi aplikacji. Dzienniki są tworzone przez aplikacje Java i C#, w większości na maszynach wirtualnych w chmurze. Chciałbym usłyszeć, czy inni to zrobili i względne zalety BigQuery kontra ElasticSearch/Logstash/Kibana.

Zaletą BigQuery wydaje się być to, że radzi sobie z ogromnymi ilościami danych, podczas gdy rozwiązania ELK wydają się być lepiej dopasowane do niestrukturalnego charakteru logów, zwłaszcza gdy pochodzą z różnych systemów.

Chciałbym również wyświetlić informacje na desce rozdzielczej. Kibana wydaje się być na to bardzo dobry. Jak łatwo jest tworzyć kokpity menedżerskie za pomocą rozwiązania Google (korzystając z arkuszy Google itp.)?

Myśli, przypadki użycia?

Answer 1

Elasticsearch i BigQuery doskonale ze sobą współpracują. BigQuery pobiera tyle danych, ile masz, i przesyła je w dowolny sposób w ciągu kilku sekund. W międzyczasie dobrze dostrojona instalacja Elasticsearch da ci odpowiedzi w mniej niż sekundę, ale tylko w przypadku niektórych zapytań dotyczących ograniczonej ilości danych.

Zobacz ten post przez Ory w rundach, w których szczegółowo, w jaki sposób korzystać z obu:

https://www.rounds.com/blog/collecting-user-data-and-usage/

dwóch najwyższych tytułów, które podsumowują swoje powody, aby zrobić zarówno:

• żywych danych z Elasticsearch
• Big Data z Google BigQuery