Централизованный сбор и анализ логово с помощью syslog-ng,td-agent,elasticsearch,kibana,grafana,elasticalert

В этой статье я задался целью раз и навсегда разрешить все вопросы по централизованному сбору логов, их визуализации, отправки уведомление по наступившим событиям, настройке форматов логов и предоставление докер контейнер, которые облегчат эти задачи для всех кто с этим столкнется. Содержание   1. Настраиваем кластер для сбора логов на основе syslog-ng,elasticsearch,kibana,graphana,elasticalert 2. Настраиваем агенты на […]

Читать далее…

Почтовый сервер mailcow через docker за 30 минут

Почтовый сервер mailcow через docker за 30 минут Недавно наткнулся на довольно интересный комбаин из postfix-sogo-gui-панели для управления почтовыми сервисом. Называется он mailcow. В этой статье решил кратко описать как это все работает. Итак, приступим. Представим что нам надо настроить почтовый домен em.linux2be.com Требования: – OS linux Пакеты – docker-ce – docker-compose Доступные порты: SMTP_PORT=25 […]

Читать далее…

Отправка логов через syslog-ng в сервер логов syslog-ng(elasticsearch,postgresql)

Пишем логи nginx, php, nodejs в базу postgres через syslog-ng напрямую в базу или через сервер логов Установка syslog-ng Удаляем rsyslog sudo systemctl disable rsyslog sudo systemctl stop rsyslog Ставим необхдимые системные пакеты apt-get install apt-transport-https -y Ставим java на debian 8 apt-get update && apt-get install -t jessie-backports openjdk-8-jre-headless -y apt-get install -t jessie-backports […]

Читать далее…

Запись логов nginx в базу данных mysql через syslog-ng

Ставим необходимые пакеты apt install -y syslog-ng syslog-ng-json libdbi-dbd-mysql mysql-server Создаем базу в mysql и таблицу aCREATE DATABASE nginx_logs CHARACTER SET utf8 COLLATE utf8_bin; CREATE USER ‘nginx’@’%’ IDENTIFIED BY ‘yourpassword’; GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP,ALTER,INDEX on nginx_logs.* TO ‘nginx’@’%’; flush privileges; Create table access_log ( id int8 unsigned auto_increment primary key, unixtime int4 unsigned, year year(4), month int, […]

Читать далее…