Централизованный сбор и анализ логово с помощью syslog-ng,td-agent,elasticsearch,kibana,grafana,elasticalert

В этой статье я задался целью раз и навсегда разрешить все вопросы по централизованному сбору логов, их визуализации, отправки уведомление по наступившим событиям, настройке форматов логов и предоставление докер контейнер, которые облегчат эти задачи для всех кто с этим столкнется. Содержание   1. Настраиваем кластер для сбора логов на основе syslog-ng,elasticsearch,kibana,graphana,elasticalert 2. Настраиваем агенты на […]

Читать далее…

Отправка логов через syslog-ng в сервер логов syslog-ng(elasticsearch,postgresql)

Пишем логи nginx, php, nodejs в базу postgres через syslog-ng напрямую в базу или через сервер логов Установка syslog-ng Удаляем rsyslog sudo systemctl disable rsyslog sudo systemctl stop rsyslog Ставим необхдимые системные пакеты apt-get install apt-transport-https -y Ставим java на debian 8 apt-get update && apt-get install -t jessie-backports openjdk-8-jre-headless -y apt-get install -t jessie-backports […]

Читать далее…

Запись логов nginx в базу данных mysql через syslog-ng

Ставим необходимые пакеты apt install -y syslog-ng syslog-ng-json libdbi-dbd-mysql mysql-server Создаем базу в mysql и таблицу aCREATE DATABASE nginx_logs CHARACTER SET utf8 COLLATE utf8_bin; CREATE USER ‘nginx’@’%’ IDENTIFIED BY ‘yourpassword’; GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP,ALTER,INDEX on nginx_logs.* TO ‘nginx’@’%’; flush privileges; Create table access_log ( id int8 unsigned auto_increment primary key, unixtime int4 unsigned, year year(4), month int, […]

Читать далее…

Настройка системы ELKF — Elasticsearch,kibana,logstash,td-agent(fluentd)

Содержание 1. Устанавливаем агентов на клиенты 2.Настройка сервера сбора,обработки и отображения логов 3.Настрока системы сбора в связке с syslog-ng logstash elasticsearch 4.Примеры настройки сбора и парсинга логов 4.1.Настройка td-agent на примере парсинга логов nginx access и error логов 4.2 Настройка парсинга логов postgresql и отправка их в базу postgresql Установка комбайна по сбору логов — […]

Читать далее…