Услышал вскользь от коллег, что для логов часто применяют схему Elastic search + log stash + Kibana
В свободное время решил почитать на эту тему.
Первая ссылка привела меня на эту страницу:
https://habr.com/company/uteam/blog/278729/

Как и большинство статей на хабре это просто деление опытом для тех, кто уже пробовал. А для тех, кто не пробовал понятно не много.

Собсно вот картинка:



На картинке у нас 3 машинки, на которых крутятся приложения. Мы хотим собирать логи с них в одном месте.

Я хочу на верхнеуровневых квадратиках разобраться что делает каждый из них.

1. Filebeat-ы это сущности лог стеша, которые надо натравливать на директорию с логами и они умеют слушать новые логи и отправлять их в листенер на централизованном сервере, где расположен лог стеш?

2. Нафига в этой схеме rabbitMq ? Это всё внутри logstash зашито?

3. Зачем нужен эластик сёрч в этой схеме? Кибана не умеет работать напрямую с лог стешем? Кибана ведь нужна только для построения графиков

shadenquestioner,

Elasticsearch - это полнотекстовый поиск. Кибана или Графана - удобный фронтэнд для выборок.
Logstash берет логи, трансформирует и обогащает при необходимости.
RabbitMQ можно и не ставить (я лично не ставил). Но если рассматривать точки зрения гарантированной доставки сообщений, то он наверное, не помешал бы.

А почему кибана умеет строить графики только с эластик сёрча?

Зачем обогащать логи? чем например их обогощают?

shadenquestioner,

А почему земля круглая, а небо синее?

По поводу обогащения: варианты бывают разные.
Навскидку: в логах есть IP-адрес и вам надо по этому адресу определить страну и за кем адрес закреплен. Или к какой-то другой сущности добавить нужную информацию - это от фантазии зависит.

Насчёт круглой земли:

Эластик сёрч это же движок поиска текста. Как связана задача поиска текста и построения графика?