Централизованный сбор и анализ логово с помощью syslog-ng,td-agent,elasticsearch,kibana,grafana,elasticalert

В этой статье я задался целью раз и навсегда разрешить все вопросы по централизованному сбору логов, их визуализации, отправки уведомление по наступившим событиям, настройке форматов логов и предоставление докер контейнер, которые облегчат эти задачи для всех кто с этим столкнется. Содержание   1. Настраиваем кластер для сбора логов на основе syslog-ng,elasticsearch,kibana,graphana,elasticalert 2. Настраиваем агенты на […]

Читать далее…

Отправка логов через syslog-ng в сервер логов syslog-ng(elasticsearch,postgresql)

Пишем логи nginx, php, nodejs в базу postgres через syslog-ng напрямую в базу или через сервер логов Установка syslog-ng Удаляем rsyslog

Ставим необхдимые системные пакеты

Ставим java на debian 8

Ставим java на ubuntu

Устанавливаем переменную окружения

Ставим syslog-ng последней версии на debian 8

Ставим syslog-ng последней версии на […]

Читать далее…

Запись логов nginx в базу данных mysql через syslog-ng

Ставим необходимые пакеты

Создаем базу в mysql и таблицу

Настраиваем фомат логов в nginx

Отправляем логи в syslog-ng

Правим syslog-ng файл. Настраиваем парсинг и запись лога в базу данных

Сохраняемся. ЗАпускаем в режиме дебага

Перезапускаем после-то как ве проверили

[…]

Читать далее…

Настройка системы ELKF — Elasticsearch,kibana,logstash,td-agent(fluentd)

Содержание 1. Устанавливаем агентов на клиенты 2.Настройка сервера сбора,обработки и отображения логов 3.Настрока системы сбора в связке с syslog-ng logstash elasticsearch 4.Примеры настройки сбора и парсинга логов 4.1.Настройка td-agent на примере парсинга логов nginx access и error логов 4.2 Настройка парсинга логов postgresql и отправка их в базу postgresql Установка комбайна по сбору логов — […]

Читать далее…