backconnect

Стек

Логирование

  1. Loki:

    • Преимущества: Loki спроектирован для эффективности и минимизации затрат на хранение. Он индексирует только метаданные логов, что делает его экономичным с точки зрения хранения. Прекрасно интегрируется с Grafana для визуализации логов.
    • Недостатки: Может быть ограничен в сложных сценариях поиска, так как не индексирует текст логов.

  2. Elasticsearch + Logstash (или ELK стек, если включать Kibana):

    • Преимущества: Очень мощный поисковый движок, поддерживает сложные запросы. Обладает расширенными возможностями аналитики и визуализации (особенно с Kibana).
    • Недостатки: Требует значительных ресурсов (особенно памяти), может быть дороговато в эксплуатации при больших объемах данных.

  3. Fluentd:

    • Преимущества: Гибкость и настраиваемость, большое количество плагинов. Легче в установке и настройке, чем Logstash. Эффективен при пересылке логов.
    • Недостатки: Может потребоваться дополнительное ПО для полного стека логирования (например, использование в сочетании с Elasticsearch для хранения и поиска).

Мониторинг (выбрано)

  1. Prometheus (выбран):

    • Преимущества: Активно поддерживается, имеет богатый набор инструментов и библиотек. Особенно хорош для мониторинга кластеров Kubernetes и временных рядов.
    • Недостатки: Не самое эффективное решение для долгосрочного хранения данных. Нужна ротация либо большой объём диска.

  2. InfluxDB + Grafana:

    • Преимущества: InfluxDB оптимизирован для временных рядов и очень быстр. Grafana предоставляет мощные инструменты визуализации.
    • Недостатки: Настройка и оптимизация InfluxDB может потребоваться дополнительных усилий и ресурсов.

  3. Kibana (с ELK):

    • Преимущества: Отличные возможности визуализации, хорошая интеграция с Elasticsearch.
    • Недостатки: Как правило, не используется отдельно, зависит от данных Elasticsearch. Требует достаточно много ресурсов.

Итого

Логирование

  • Затратно по ресурсам и быстро:

    1. Elasticsearch + Logstash (ELK-стек из коробки, более лёгкий в настройке и деплое), или
    2. Fluentd + Elasticsearch (менее затратнее по памяти, чем первый, но зато более сложен в настройке и оптимизации — плюс к срокам)

  • Малозатратно и медленно:

    1. Loki (вообще ничего не жрёт, но проблема в отсутствии индексов, делает всю систему медленной)

Мониторинг

  • По мониторингу выбран Prometheus.