Автор:humanЦентрализованный сбор и анализ логово с помощью syslog-ng,td-agent,elasticsearch,kibana,grafana,elasticalert
В этой статье я задался целью раз и навсегда разрешить все вопросы по централизованному сбору логов, их визуализации, отправки уведомление по наступившим событиям, настройке форматов логов и предоставление докер контейнер, которые облегчат эти задачи для всех кто с этим столкнется.
Содержание
- 1. Настраиваем кластер для сбора логов на основе syslog-ng,elasticsearch,kibana,graphana,elasticalert
- 2. Настраиваем агенты на клиентах и форматы логов для отправки в агрегатор
- 3. Различные сниппеты по логам
Настраиваем кластер для сбора логов на основе syslog-ng,elasticsearch,kibana,graphana,elasticalert
Наш кластер будет состоять из 3 нод.
1 2 3 4 | 10.9.3.210 elasticsearch-node1 elasticnode1 10.9.3.211 elasticsearch-node2 elasticnode2 10.9.3.212 elasticsearch-node3 elasticnode3 10.9.3.213 elasticsearch-node3 elasticnode4 |
1 нода — elasticsearch master нода, syslog-ng агрегатор логов, kibana и graphana для визуализации логов, elasticalert для реагирования на события по логам(например большого количества 500 ошибок nginx в определенный период времени).
2 нода — elasticsearch data нода
3 нода — elasticsearch data нода
На всех нодах установлена debian 8 с ядром 4.9.0
Установка syslog-ng
Удаляем rsyslog
1 2 | sudo systemctl disable rsyslog sudo systemctl stop rsyslog |
Ставим необхдимые системные пакеты
1 | apt-get install apt-transport-https -y |
Ставим java на debian 8
1 2 3 | apt-get update && apt-get install -t jessie-backports openjdk-8-jre-headless -y apt-get install -t jessie-backports openjdk-8-jre-headless -y update-java-alternatives --set java-1.8.0-openjdk-amd64 |
Ставим java на ubuntu
1 | sudo apt-get install openjdk-8-jre-headless -y |
Устанавливаем переменную окружения
1 | export LD_LIBRARY_PATH=/usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64/server:$LD_LIBRARY_PATH |
Ставим syslog-ng последней версии на debian 8
1 2 3 4 5 6 | wget http://ftp.ru.debian.org/debian/pool/main/o/openssl/libssl1.0.0_1.0.1t-1+deb8u6_amd64.deb && dpkg -i libssl1.0.0_1.0.1t-1+deb8u6_amd64.deb wget http://ftp.ru.debian.org/debian/pool/main/j/json-c/libjson-c2_0.11-4_amd64.deb && dpkg -i libjson-c2_0.11-4_amd64.deb wget -qO - http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/Debian_8.0/Release.key | sudo apt-key add - echo "deb http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/Debian_8.0 ./" >> /etc/apt/sources.list.d/syslog-ng-obs.list apt-get update apt-get install syslog-ng-core syslog-ng-mod-pgsql libdbd-pgsql syslog-ng-mod-elastic |
Ставим syslog-ng последней версии на ubuntu 16.04
1 2 3 4 5 6 | sudo su wget http://nl.archive.ubuntu.com/ubuntu/pool/main/j/json-c/libjson-c3_0.12.1-1.1_amd64.deb && dpkg -i libjson-c3_0.12.1-1.1_amd64.de wget -qO - http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/Debian_8.0/Release.key | sudo apt-key add - echo "deb http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/xUbuntu_16.10 ./" >> /etc/apt/sources.list.d/syslog-ng-obs.list apt-get update apt-get install syslog-ng-core syslog-ng-mod-pgsql libdbd-pgsql syslog-ng-mod-elastic |
Ставим последний elasticsearch и kibana на все ноды
1 2 3 4 5 6 7 8 9 10 11 | wget http://ftp.ru.debian.org/debian/pool/main/o/openssl/libssl1.0.0_1.0.1t-1+deb8u6_amd64.deb && dpkg -i libssl1.0.0_1.0.1t-1+deb8u6_amd64.deb wget http://ftp.ru.debian.org/debian/pool/main/j/json-c/libjson-c2_0.11-4_amd64.deb && dpkg -i libjson-c2_0.11-4_amd64.deb echo "deb http://http.debian.net/debian jessie-backports main" > /etc/apt/sources.list.d/jessie-backports.list apt-get update && apt-get install -t jessie-backports openjdk-8-jre-headless -y update-java-alternatives --set java-1.8.0-openjdk-amd64 wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add - echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" >> /etc/apt/sources.list.d/elastic-5.x.list apt-get update && apt-get install elasticsearch kibana -y echo "LD_LIBRARY_PATH=/usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64/server:$LD_LIBRARY_PATH" >> /root/.profile echo "LD_LIBRARY_PATH=/usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64/server:$LD_LIBRARY_PATH" >> ~/.bash_profile mkdir /elasticsearchdata/ && chown -R elasticsearch:elasticsearch /elasticsearchdata/ |
Правим системные файлы.
Правим limits.conf
1 | nano /etc/security/limits.conf |
1 2 3 4 5 6 | * soft memlock unlimited * hard memlock unlimited elasticsearch soft memlock unlimited elasticsearch hard memlock unlimited * soft nofile 100000 * hard nofile 100000 |
Правим sysctl.conf
1 | nano /etc/sysctl.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 | net.ipv4.tcp_tw_recycle = 1 net.ipv4.tcp_tw_reuse = 1 net.ipv4.ip_local_port_range = 10240 65535 net.ipv4.conf.all.accept_redirects = 0 net.ipv4.conf.all.secure_redirects = 0 net.ipv4.conf.all.send_redirects = 0 net.ipv4.tcp_max_orphans = 65536 net.ipv4.tcp_fin_timeout = 10 net.ipv4.tcp_keepalive_time = 1800 net.ipv4.tcp_keepalive_intvl = 15 net.ipv4.tcp_keepalive_probes = 5 net.ipv4.tcp_synack_retries = 1 net.ipv4.tcp_mem = 50576 64768 98152 net.ipv4.tcp_rmem = 4096 87380 16777216 net.ipv4.tcp_wmem = 4096 65536 16777216 net.ipv4.tcp_orphan_retries = 0 net.ipv4.tcp_syncookies = 0 net.ipv4.tcp_timestamps = 1 net.ipv4.tcp_sack = 1 net.ipv4.tcp_congestion_control = htcp net.ipv4.tcp_no_metrics_save = 1 net.ipv4.route.flush = 1 net.ipv4.conf.all.rp_filter = 1 net.ipv4.conf.lo.rp_filter = 1 net.ipv4.conf.eth0.rp_filter = 1 net.ipv4.conf.default.rp_filter = 1 net.ipv4.conf.all.accept_source_route = 0 net.ipv4.conf.lo.accept_source_route = 0 net.ipv4.conf.eth0.accept_source_route = 0 net.ipv4.conf.default.accept_source_route = 0 net.ipv4.ip_local_port_range = 1024 65535 net.ipv4.tcp_tw_reuse = 1 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_rfc1337 = 1 net.ipv4.ip_forward = 1 net.ipv4.icmp_echo_ignore_broadcasts = 1 net.ipv4.icmp_echo_ignore_all = 1 net.ipv4.icmp_ignore_bogus_error_responses = 1 net.core.somaxconn = 65535 net.core.rmem_default = 65536 net.core.wmem_default = 65536 net.core.rmem_max = 16777216 net.core.wmem_max = 16777216 fs.inotify.max_user_watches = 16777216 kernel.sem = 350 358400 64 1024 net.core.rmem_default = 262144 net.core.rmem_max = 4194304 net.core.wmem_default = 262144 net.core.wmem_max = 4194304 net.ipv4.tcp_window_scaling = 1 net.ipv4.tcp_adv_win_scale = 2 net.ipv4.tcp_moderate_rcvbuf = 1 net.ipv4.tcp_rmem = 4096 262144 4194304 net.ipv4.tcp_wmem = 4096 262144 4194304 net.ipv4.tcp_keepalive_time = 900 net.ipv4.tcp_keepalive_intvl = 900 net.ipv4.tcp_keepalive_probes = 9 fs.file-max = 500000 net.ipv4.tcp_max_syn_backlog = 100000 net.core.somaxconn = 100000 net.core.netdev_max_backlog = 100000 |
настраиваем kibana и elasticsearch
НАстроим на макимальное использование памяти
в /usr/lib/systemd/system/elasticsearch.service
1 2 | [Service] LimitMEMLOCK=infinityy |
И
1 | systemctl daemon-reload |
Отредактируем файл на всех нодах
1 | nano /etc/elasticsearch/jvm.options |
Блок — делаем половину озу — у меня 12 — поставил 6
1 2 3 4 | # Xms represents the initial size of total heap space # Xmx represents the maximum size of total heap space -Xms6g -Xmx6g |
Конфиг master ноды elasticsearch
1 | nano /etc/elasticsearch/elasticsearch.yml |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | ## Default Elasticsearch configuration from elasticsearch-docker. ## from https://github.com/elastic/elasticsearch-docker/blob/master/build/elasticsearch/elasticsearch.yml # network.host: 0.0.0.0 cluster.name: "production" node.name: elasticnode1 discovery.zen.ping.unicast.hosts: ["elasticnode1", "elasticnode2", "elasticnode3"] # avoid swapping the Elasticsearch bootstrap.memory_lock: true ###Make node master - non data node.master: true node.data: false # minimum_master_nodes need to be explicitly set when bound on a public IP discovery.zen.minimum_master_nodes: 1 path.data: /elasticsearchdata/ # # Path to log files: # #path.logs: /path/to/logs ## Use single node discovery in order to disable production mode and avoid bootstrap checks ## see https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html # #discovery.type: single-node ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html ## https://www.elastic.co/guide/en/x-pack/current/installing-xpack.html#xpack-enabling # #xpack.security.enabled: false #xpack.monitoring.enabled: false #xpack.ml.enabled: false #xpack.graph.enabled: false #xpack.watcher.enabled: false |
Смотрим здоровье и статус кластера
1 2 3 4 | curl -XGET 'http://elastinode1:9200/_cluster/state?pretty' curl http://elastinode:9200/_nodes/process?pretty Следующая команда должна показать <pre>curl -XGET 'http://localhost:9200/_cluster/health' |
Такой вывод
1 | {"cluster_name":"production","status":"green","timed_out":false,"number_of_nodes":4,"number_of_data_nodes":3,"active_primary_shards":41,"active_shards":82,"relocating_shards":0,"initializing_shards":0,"unassigned_shards":0,"delayed_unassigned_shards":0,"number_of_pending_tasks":0,"number_of_in_flight_fetch":0,"task_max_waiting_in_queue_millis":0,"active_shards_percent_as_number":100.0} |
Конфиг dataноды elasticsearch elasticnode2
1 | nano /etc/elasticsearch/elasticsearch.yml |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | --- ## Default Elasticsearch configuration from elasticsearch-docker. ## from https://github.com/elastic/elasticsearch-docker/blob/master/build/elasticsearch/elasticsearch.yml # network.host: 0.0.0.0 cluster.name: "production" node.name: elasticnode2 discovery.zen.ping.unicast.hosts: ["elasticnode1", "elasticnode2", "elasticnode3"] # avoid swapping the Elasticsearch bootstrap.memory_lock: true ###Make node master - non data node.master: false node.data: true # minimum_master_nodes need to be explicitly set when bound on a public IP discovery.zen.minimum_master_nodes: 1 path.data: /elasticsearchdata/ # # Path to log files: # #path.logs: /path/to/logs ## Use single node discovery in order to disable production mode and avoid bootstrap checks ## see https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html # #discovery.type: single-node ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html ## https://www.elastic.co/guide/en/x-pack/current/installing-xpack.html#xpack-enabling # #xpack.security.enabled: false #xpack.monitoring.enabled: false #xpack.ml.enabled: false #xpack.graph.enabled: false #xpack.watcher.enabled: false |
Конфиг dataноды elasticsearch elasticnode3
1 | nano /etc/elasticsearch/elasticsearch.yml |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 | --- ## Default Elasticsearch configuration from elasticsearch-docker. ## from https://github.com/elastic/elasticsearch-docker/blob/master/build/elasticsearch/elasticsearch.yml # network.host: 0.0.0.0 cluster.name: "production" node.name: elasticnode3 discovery.zen.ping.unicast.hosts: ["elasticnode1", "elasticnode2", "elasticnode3"] # avoid swapping the Elasticsearch bootstrap.memory_lock: true ###Make node master - non data node.master: false node.data: true # minimum_master_nodes need to be explicitly set when bound on a public IP discovery.zen.minimum_master_nodes: 1 path.data: /elasticsearchdata/ # # Path to log files: # #path.logs: /path/to/logs ## Use single node discovery in order to disable production mode and avoid bootstrap checks ## see https://www.elastic.co/guide/en/elasticsearch/reference/current/bootstrap-checks.html # #discovery.type: single-node ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html ## https://www.elastic.co/guide/en/x-pack/current/installing-xpack.html#xpack-enabling # #xpack.security.enabled: false #xpack.monitoring.enabled: false #xpack.ml.enabled: false #xpack.graph.enabled: false #xpack.watcher.enabled: false |
Конфиг kibana
1 | nano /etc/kibana/kibana.yml |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 | --- --- ## Default Kibana configuration from kibana-docker. ## from https://github.com/elastic/kibana-docker/blob/master/build/kibana/config/kibana.yml # server.name: kibana.local server.host: "0" elasticsearch.url: http://elasticnode1:9200 ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html ## https://www.elastic.co/guide/en/x-pack/current/installing-xpack.html#xpack-enabling # xpack.security.enabled: false xpack.security.enabled: false xpack.monitoring.enabled: false xpack.ml.enabled: false xpack.graph.enabled: false xpack.reporting.enabled: false |
Рестартуес сервисы
1 2 | /etc/init.d/elasticsearch restart /etc/init.d/kibana restart |
Подготовка формата логов nginx,php и nodejs
Настройка формата логов в nginx
1 | nano /etc/nginx/nginx.conf |
Добавляем формат логов и включаем запись их в файлы
1 2 3 4 5 6 | log_format logtodb '$time_iso8601;$http_host;$remote_addr;$http_x_forwarded_for;$request_method;$request;$status;$body_bytes_sent;$http_referer;$request_time;$upstream_http_x_cache;$uri;$upstream_addr;$host;$upstream_response_length;$upstream_status;$server_name;$newurl;$upstream_response_time;$http_user_agent'; log_format log '$request_method $scheme://$http_host$request_uri $http_host'; access_log /var/log/nginx/access_logtodb.log logtodb; error_log /var/log/nginx/error.log; |
Настройка логов php — отправка их в nginxerror.log
Добаляем в конфиг, например у мея это
1 | nano /php/7.0/fpm/pool.d/itc-life.ru.conf |
1 2 3 4 | catch_workers_output = yes php_flag[display_errors] = on php_admin_value[error_log] = /var/log/fpm-php.www.log php_admin_flag[log_errors] = on |
Таким образом логи ошибок будут php будут попадать в nginx error log.
Идем далее.
Настройка формата логов nodejs, запускаемой через pm2
Делаем запуск с такими параметрами
1 | pm2 start server.js --merge-logs --log-type=json --log-date-format="YYYY-MM-DD HH:mm Z" -i 4 --watch --max-memory-restart 1200M |
Логи будет писаться в одну строку в json формате.
На этом подготовка формата логов окончена
Настраиваем syslog-ng на отправку логов nginx,php и nodejs через udp на сервер логов
Приведем syslog-ng к определенному виду. У нас на текущий момент версия 3.12
1 | nano/etc/syslog-ng/syslog-ng.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | @version: 3.12 @include "scl.conf" #@module mod-java # Настраиваем глобальные параметры options { chain_hostnames(off); log_fifo_size(1000); use_dns(no); use_fqdn(no); owner("root"); group("adm"); perm(0640); stats_freq(0); bad_hostname("^gconfd$"); }; @include "/etc/syslog-ng/conf.d/*.conf" |
Все конфиги будем инклудить для удобства через conf.d. Конфиг для парсинга созданных нами логов и отправки их на сервер.
1 | nano /etc/syslog-ng/conf.d/output.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 | ##################################################################################################################### ##################################################################################################################### ####Отправка логов на сервер destination d_server_nginx_access { udp("elasticnode1" port(25214)); }; destination d_server_nginx_error { udp("elasticnode1" port(25215)); }; destination d_server_nodejs { udp("elasticnode1" port(25216)); }; ######################################################################### ###### Источник с логами nginx access################## source s_tail_nginx_access_log { file( "/var/log/nginx/access_logtodb.log" follow_freq(1) flags(no-parse) ); }; ########################################################################################################### ###### Источник с логами nginx error################## source s_tail_nginx_error { file( "/var/log/nginx/error.log" follow_freq(1) flags(no-parse) ); }; ########################################################################################################### ####Источник с логами nodejs source s_tail_node { file( "/root/.pm2/logs/server-error.log" follow_freq(1) flags(no-parse) ); }; ###Отпарвляем все источники на сервер - там их будем парсить и писать в нужные базы. log {source(s_tail_nginx_access_log); destination(d_server_nginx_access); }; log {source(s_tail_nginx_error ); destination(d_server_nginx_error);}; log {source(s_tail_node); destination(d_server_nodejs);}; |
Далее отдельным файлом выделим стандартные системные логи
1 | nano /etc/syslog-ng/conf.d/system.logs.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 | ######################## # Sources ######################## # This is the default behavior of sysklogd package # Logs may come from unix stream, but not from another machine. # source s_src { system(); internal(); }; # If you wish to get logs from remote machine you should uncomment # this and comment the above source line. # #source s_net { tcp(ip(127.0.0.1) port(1000)); }; ######################## # Destinations ######################## # First some standard logfile # destination d_auth { file("/var/log/auth.log"); }; destination d_cron { file("/var/log/cron.log"); }; destination d_daemon { file("/var/log/daemon.log"); }; destination d_kern { file("/var/log/kern.log"); }; destination d_lpr { file("/var/log/lpr.log"); }; destination d_mail { file("/var/log/mail.log"); }; destination d_syslog { file("/var/log/syslog"); }; destination d_user { file("/var/log/user.log"); }; destination d_uucp { file("/var/log/uucp.log"); }; # This files are the log come from the mail subsystem. # destination d_mailinfo { file("/var/log/mail.info"); }; destination d_mailwarn { file("/var/log/mail.warn"); }; destination d_mailerr { file("/var/log/mail.err"); }; # Logging for INN news system # destination d_newscrit { file("/var/log/news/news.crit"); }; destination d_newserr { file("/var/log/news/news.err"); }; destination d_newsnotice { file("/var/log/news/news.notice"); }; # Some 'catch-all' logfiles. # destination d_debug { file("/var/log/debug"); }; destination d_error { file("/var/log/error"); }; destination d_messages { file("/var/log/messages"); }; # The root's console. # destination d_console { usertty("root"); }; # Virtual console. # destination d_console_all { file(`tty10`); }; # The named pipe /dev/xconsole is for the nsole' utility. To use it, # you must invoke nsole' with the -file' option: # # $ xconsole -file /dev/xconsole [...] # destination d_xconsole { pipe("/dev/xconsole"); }; # Send the messages to an other host # #destination d_net { tcp("127.0.0.1" port(1000) log_fifo_size(1000)); }; # Debian only destination d_ppp { file("/var/log/ppp.log"); }; ######################## # Filters ######################## # Here's come the filter options. With this rules, we can set which # message go where. filter f_dbg { level(debug); }; filter f_info { level(info); }; filter f_notice { level(notice); }; filter f_warn { level(warn); }; filter f_err { level(err); }; filter f_crit { level(crit .. emerg); }; filter f_debug { level(debug) and not facility(auth, authpriv, news, mail); }; filter f_error { level(err .. emerg) ; }; filter f_messages { level(info,notice,warn) and not facility(auth,authpriv,cron,daemon,mail,news); }; filter f_auth { facility(auth, authpriv) and not filter(f_debug); }; filter f_cron { facility(cron) and not filter(f_debug); }; filter f_daemon { facility(daemon) and not filter(f_debug); }; filter f_kern { facility(kern) and not filter(f_debug); }; filter f_lpr { facility(lpr) and not filter(f_debug); }; filter f_local { facility(local0, local1, local3, local4, local5, local6, local7) and not filter(f_debug); }; filter f_mail { facility(mail) and not filter(f_debug); }; filter f_news { facility(news) and not filter(f_debug); }; filter f_syslog3 { not facility(auth, authpriv, mail) and not filter(f_debug); }; filter f_user { facility(user) and not filter(f_debug); }; filter f_uucp { facility(uucp) and not filter(f_debug); }; filter f_cnews { level(notice, err, crit) and facility(news); }; filter f_cother { level(debug, info, notice, warn) or facility(daemon, mail); }; filter f_ppp { facility(local2) and not filter(f_debug); }; filter f_console { level(warn .. emerg); }; ######################## # Log paths ######################## log { source(s_src); filter(f_auth); destination(d_auth); }; log { source(s_src); filter(f_cron); destination(d_cron); }; log { source(s_src); filter(f_daemon); destination(d_daemon); }; log { source(s_src); filter(f_kern); destination(d_kern); }; log { source(s_src); filter(f_lpr); destination(d_lpr); }; log { source(s_src); filter(f_syslog3); destination(d_syslog); }; log { source(s_src); filter(f_user); destination(d_user); }; log { source(s_src); filter(f_uucp); destination(d_uucp); }; log { source(s_src); filter(f_mail); destination(d_mail); }; #log { source(s_src); filter(f_mail); filter(f_info); destination(d_mailinfo); }; #log { source(s_src); filter(f_mail); filter(f_warn); destination(d_mailwarn); }; #log { source(s_src); filter(f_mail); filter(f_err); destination(d_mailerr); }; log { source(s_src); filter(f_news); filter(f_crit); destination(d_newscrit); }; log { source(s_src); filter(f_news); filter(f_err); destination(d_newserr); }; log { source(s_src); filter(f_news); filter(f_notice); destination(d_newsnotice); }; #log { source(s_src); filter(f_cnews); destination(d_console_all); }; #log { source(s_src); filter(f_cother); destination(d_console_all); }; #log { source(s_src); filter(f_ppp); destination(d_ppp); }; log { source(s_src); filter(f_debug); destination(d_debug); }; log { source(s_src); filter(f_error); destination(d_error); }; log { source(s_src); filter(f_messages); destination(d_messages); }; log { source(s_src); filter(f_console); destination(d_console_all); destination(d_xconsole); }; log { source(s_src); filter(f_crit); destination(d_console); }; # All messages send to a remote site # #log { source(s_src); destination(d_net); }; |
Проверяем
1 | sudo /usr/sbin/syslog-ng -Fvde |
Если всё ок — стартуем syslog-ng, но только после того как настроим прием логов на сервере.
1 | sudo /etc/init.d/syslog-ng start |
Настраиваем syslog-ng сервер на прием логов nginx,php и nodejs через udp и отправку их в elasticsearch и postgresql.
Приведем syslog-ng к определенному виду. У нас на текущий момент версия 3.12
1 | nano/etc/syslog-ng/syslog-ng.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 | @version: 3.12 @include "scl.conf" @module mod-java # Настраиваем глобальные параметры options { chain_hostnames(off); log_fifo_size(1000); use_dns(no); use_fqdn(no); owner("root"); group("adm"); perm(0640); stats_freq(0); bad_hostname("^gconfd$"); }; @include "/etc/syslog-ng/conf.d/*.conf" |
Так же как и на клиентах, все конфиги будем инклудить для удобства через conf.d.
1 | nano /etc/syslog-ng/conf.d/input.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 | ##################################################################################################################### ##################################################################################################################### ##Прием логов nginx access с удаленных машин на порт source remote_log_host_nginx_access { udp(port(25214)); }; ##Прием логов nginx error с удаленных машин на порт source remote_log_host_nginx_error { udp(port(25215)); }; ##Прием логов nodejs с удаленных машин на порт source remote_log_host_nodejs { udp(port(25216)); }; ##################################################################################################################### ##################################################################################################################### ###Парсим логи nginx access по столбцам из csv parser p_remote_log_host_nginx_access { csv-parser(columns("NGINX_TIME", "NGINX_http_host", "NGINX_remote_addr", "NGINX_http_x_forwarded_for", "NGINX_request", "NGINX_request_method","NGINX_status", "NGINX_body_bytes_sent", "NGINX_http_referer", "NGINX_request_time", "NGINX_upstream_http_x_cache", "NGINX_uri", "NGINX_upstream_addr", "NGINX_host", "NGINX_upstream_response_length", "NGINX_upstream_status", "NGINX_server_name", "NGINX_newurl", "NGINX_upstream_response_time", "NGINX_user_agent") flags(escape-double-char,strip-whitespace) delimiters(";") quote-pairs('""[]') ); }; ##################################################################################################################### ##################################################################################################################### ###Направляем nginx_acess в elasticsearch destination d_elastic_nginx_access { elasticsearch2( #client-lib-dir("/usr/share/elasticsearch/lib/") index("nginxaccess-${YEAR}.${MONTH}.${DAY}") type("test") time-zone("UTC") client_mode("http") flush-limit("10000") cluster_url("http://elasticnode1:9200") custom_id("${UNIQID}") template("$(format_json --scope nv_pairs --key ISODATE @timestamp=${ISODATE})") ); }; ###Направляем nginx_error в elasticsearch destination d_elastic_nginx_error { elasticsearch2( #client-lib-dir("/usr/share/elasticsearch/lib/") index("nginxerror-${YEAR}.${MONTH}.${DAY}") type("test") time-zone("UTC") client_mode("http") flush-limit("10000") cluster_url("http://elasticnode1:9200") custom_id("${UNIQID}") template("$(format_json --scope nv_pairs --key ISODATE @timestamp=${ISODATE})") ); }; ###Направляем nodejs логи в elasticsearch destination d_elastic_nodejs { elasticsearch2( #client-lib-dir("/usr/share/elasticsearch/lib/") index("nodejs-${YEAR}.${MONTH}.${DAY}") type("test") time-zone("UTC") client_mode("http") flush-limit("10000") cluster_url("http://elasticnode1:9200") custom_id("${UNIQID}") template("$(format_json --scope nv_pairs --key ISODATE @timestamp=${ISODATE})") ); }; #Направляем в postgres destination d_postgres_nginx_access{ sql(type(pgsql) host("elasticnode1") port("15432") username("postgres") password("mysecretpassword") database("nginx_access") table("DATE_${R_YEAR}_${R_MONTH}_nginx_access") columns("HOST text", "NGINX_TIME text", "NGINX_http_host text", "NGINX_remote_addr text", "NGINX_http_x_forwarded_for text", "NGINX_request_method text", "NGINX_request text", "NGINX_status text", "NGINX_body_bytes_sent text", "NGINX_http_referer text", "NGINX_request_time text", "NGINX_upstream_http_x_cache text", "NGINX_uri text", "NGINX_upstream_addr text", "NGINX_host text", "NGINX_upstream_response_length text", "NGINX_upstream_status text", "NGINX_server_name text", "NGINX_newurl text", "NGINX_upstream_response_time text", "NGINX_user_agent text") values("$HOST", "${NGINX_TIME}", "${NGINX_http_host}", "${NGINX_remote_addr}", "${NGINX_http_x_forwarded_for}", "${NGINX_request_method}", "${NGINX_request}", "${NGINX_status}", "${NGINX_body_bytes_sent}", "${NGINX_http_referer}", "${NGINX_request_time}", "${NGINX_upstream_http_x_cache}", "${NGINX_uri}", "${NGINX_upstream_addr}", "${NGINX_host }", "${NGINX_upstream_response_length}", "${NGINX_upstream_status}", "${NGINX_server_name}", "${NGINX_newurl}", "${NGINX_upstream_response_time}", "${NGINX_user_agent}") indexes("NGINX_server_name", "NGINX_newurl")); }; ##################################################################################################################### ##################################################################################################################### #####Логи nginx access log {source(remote_log_host_nginx_access); parser(p_remote_log_host_nginx_access); destination(d_elastic_nginx_access); }; log {source(remote_log_host_nginx_access); parser(p_remote_log_host_nginx_access); destination(d_postgres_nginx_access); }; #####Логи nginx error log {source(remote_log_host_nginx_error); destination(d_elastic_nginx_error); }; #####Логи nodejs log {source(remote_log_host_nodejs); destination(d_elastic_nodejs); }; |
Здесь мы настроили парсинг входящего лога nginx acceess для отпраки его в elasticsearch и postgres, а также прием логов nginx error и nodejs и отправку их в elasticsearch.
Индексы созданные в elasticsearch соответственно буду иметь следующие названия:
1 | nginxaccess-* |
1 | nginxerror-* |
1 | nodejs-* |
Чтобы логи писались в postgresql создадим базу nginx_access на любой ноде и настроим подключения по вашим данным
1 | su postgres -c "psql" |
1 | create database nginx_access; |
В ней будут создаваться таблицы вида
Все рестартуем агенты на сервере и отправителе.
1 | sudo /etc/init.d/syslog-ng restart |
Заходим в kibana на
1 | https://127.0.0.1:5601 |
Добавляем индекс
1 | lasticsearch-* |
В поле timestamp выбираем
1 | @timestamp |
Смотрим в discover наши логи
Все разложено как и надо по парам!!!
Скрипт очистки логов nginx чтобы не засирать систему.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | #!/bin/bash echo "Вычищаю логи nginx" rm -rf /var/log/nginx/* /bin/sleep 1; echo "Переинициализация логов nginx" [ ! -f /var/run/nginx.pid ] || /bin/kill -USR1 `/bin/cat /var/run/nginx.pid` /etc/init.d/syslog-ng restart echo "Смотрим процессы" /bin/ps aux | grep nginx /bin/ps aux | grep syslog-ng |
Добавляем его по крону каждые 2 часа
Profit!!
Автор:humanПочтовый сервер mailcow через docker за 30 минут
Почтовый сервер mailcow через docker за 30 минут
Недавно наткнулся на довольно интересный комбаин из postfix-sogo-gui-панели для управления почтовыми сервисом. Называется он mailcow. В этой статье решил кратко описать как это все работает. Итак, приступим. Представим что нам надо настроить почтовый домен em.itc-life.ru
Требования:
- — OS linux
Пакеты
- — docker-ce
- — docker-compose
Доступные порты:
1 2 3 4 5 6 7 8 9 10 11 | SMTP_PORT=25 SMTPS_PORT=465 SUBMISSION_PORT=587 IMAP_PORT=143 IMAPS_PORT=993 POP_PORT=110 POPS_PORT=995 SIEVE_PORT=4190 DOVEADM_PORT=127.0.0.1:19991 HTTP=80 HTTPS=443 |
Эти порты можно поменять ниже в mailcow.conf, если они у вас уже заняты, например другими докер контейнерами.
Приступаем к установке
Клонируем репозиторий
1 2 | git clone https://github.com/mailcow/mailcow-dockerized.git cd mailcow-dockerized |
Запускаем генератор конфига.
1 | ./generate_config.sh |
Вводим
Мы сгенерировали конфиг на основе которого будет собираться наша связка из докер-контейнеров
Посмотреть его можно в файле
1 | nano mailcow.conf |
Теперь приступим к сборке
1 | docker-compose build |
Подождем пока все собрется. Если не будет начинаться сборку, сделайте
1 | ./update |
Учтите это обновит докер, docker-compose. Может помочь правка docker-compose. Должна поддерживаться версия 2.3 иначе не соберется
После сборки поднимаем нашу сборку
1 | docker-compose up -d |
Часть персистентных данных хранится в докерах volumes
1 | docker volume ls | grep mail |
Заходим по адресе
https://em.itc-life.ru
Данные для входа
Логин — admin
Пароль — moohoo
Меняем его после входа
Далее добавляем почтовые домены
Создаем почтовые ящики
Далее добавлем dkim. Выбираем длину ключа 1028
Добавляем сгенерированный ящик в relay host — не обязательно
Заходим в сгерерированнй почтовые ящики через
Теперь остается настроить нашу почту чтобы она не попадала в спам. Настройка dns записей. Почтовый домен будет em.itc-life.ru
Dkim текстовые записи
1 | _domainkey.em v=DKIM1;k=rsa;t=s;s=email;p=MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCbw4JoTMtUiymxwxIRX/350OqWv5/yTm0KDCh5dSBp8EPS0WmgeiyyY9nYXKrN3nzJig+UHISK1HVcew5gq286KLngCYy5nFxngMzXsDmhnMl+0a0Og+GqnPOCO5yXgxcgB9xQlj5NxYYqlad4zFZQgTL5MO508RqYR6dkCBc8BQIDAQAB |
1 | default._domainkey.em v=DKIM1;k=rsa;t=s;s=email;p=MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCbw4JoTMtUiymxwxIRX/350OqWv5/yTm0KDCh5dSBp8EPS0WmgeiyyY9nYXKrN3nzJig+UHISK1HVcew5gq286KLngCYy5nFxngMzXsDmhnMl+0a0Og+GqnPOCO5yXgxcgB9xQlj5NxYYqlad4zFZQgTL5MO508RqYR6dkCBc8BQIDAQAB |
1 | dkim._domainkey.em v=DKIM1;k=rsa;t=s;s=email;p=MIGfMA0GCSqGSIb3DQEBAQUAA4GNADCBiQKBgQCbw4JoTMtUiymxwxIRX/350OqWv5/yTm0KDCh5dSBp8EPS0WmgeiyyY9nYXKrN3nzJig+UHISK1HVcew5gq286KLngCYy5nFxngMzXsDmhnMl+0a0Og+GqnPOCO5yXgxcgB9xQlj5NxYYqlad4zFZQgTL5MO508RqYR6dkCBc8BQIDAQAB |
Настраиваем запись mx для почтового домена em.itc-life.ru
1 | em. IN MX 10 mx.em.itc-life.ru |
Регистрируем свой сервер в почтовом сервисе google
https://postmaster.google.com/
Добавляем txt запись предоставленную google и нажимаем далее.
1 | em "запись google" |
Автор:humanОтправка логов через syslog-ng в сервер логов syslog-ng(elasticsearch,postgresql)
Пишем логи nginx, php, nodejs в базу postgres через syslog-ng напрямую в базу или через сервер логов
Установка syslog-ng
Удаляем rsyslog
1 2 | sudo systemctl disable rsyslog sudo systemctl stop rsyslog |
Ставим необхдимые системные пакеты
1 | apt-get install apt-transport-https -y |
Ставим java на debian 8
1 2 3 | apt-get update && apt-get install -t jessie-backports openjdk-8-jre-headless -y apt-get install -t jessie-backports openjdk-8-jre-headless -y update-java-alternatives --set java-1.8.0-openjdk-amd64 |
Ставим java на ubuntu
1 | sudo apt-get install openjdk-8-jre-headless -y |
Устанавливаем переменную окружения
1 | export LD_LIBRARY_PATH=/usr/lib/jvm/java-8-openjdk-amd64/jre/lib/amd64/server:$LD_LIBRARY_PATH |
Ставим syslog-ng последней версии на debian 8
1 2 3 4 5 6 | wget http://ftp.ru.debian.org/debian/pool/main/o/openssl/libssl1.0.0_1.0.1t-1+deb8u6_amd64.deb && dpkg -i libssl1.0.0_1.0.1t-1+deb8u6_amd64.deb wget http://ftp.ru.debian.org/debian/pool/main/j/json-c/libjson-c2_0.11-4_amd64.deb && dpkg -i libjson-c2_0.11-4_amd64.deb wget -qO - http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/Debian_8.0/Release.key | sudo apt-key add - echo "deb http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/Debian_8.0 ./" >> /etc/apt/sources.list.d/syslog-ng-obs.list apt-get update apt-get install syslog-ng-core syslog-ng-mod-pgsql libdbd-pgsql syslog-ng-mod-elastic |
Ставим syslog-ng последней версии на ubuntu 16.04
1 2 3 4 5 6 | sudo su wget http://nl.archive.ubuntu.com/ubuntu/pool/main/j/json-c/libjson-c3_0.12.1-1.1_amd64.deb && dpkg -i libjson-c3_0.12.1-1.1_amd64.de wget -qO - http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/Debian_8.0/Release.key | sudo apt-key add - echo "deb http://download.opensuse.org/repositories/home:/laszlo_budai:/syslog-ng/xUbuntu_16.10 ./" >> /etc/apt/sources.list.d/syslog-ng-obs.list apt-get update apt-get install syslog-ng-core syslog-ng-mod-pgsql libdbd-pgsql syslog-ng-mod-elastic |
Ставим последний elasticsearch и kibana
1 2 3 | wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | apt-key add - echo "deb https://artifacts.elastic.co/packages/5.x/apt stable main" >> /etc/apt/sources.list.d/elastic-5.x.list apt-get update && apt-get install elasticsearch kibana -y |
настраиваем kibana и elasticsearch
Конфиг elasticsearch
1 | nano /etc/elasticsearch/elasticsearch.yml |
1 2 3 4 | network.host: 0.0.0.0 http.port: 9200 xpack.security.enabled: false xpack.security.audit.enabled: false |
Конфиг kibana
1 | nano /etc/kibana/kibana.yml |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | --- ## Default Kibana configuration from kibana-docker. ## from https://github.com/elastic/kibana-docker/blob/master/build/kibana/config/kibana.yml # server.name: kibana.local server.host: "0" elasticsearch.url: http://elasticsearchhost:9200 ## Disable X-Pack ## see https://www.elastic.co/guide/en/x-pack/current/xpack-settings.html ## https://www.elastic.co/guide/en/x-pack/current/installing-xpack.html#xpack-enabling xpack.security.enabled: false xpack.security.enabled: false xpack.monitoring.enabled: false xpack.ml.enabled: false xpack.graph.enabled: false xpack.reporting.enabled: false |
Рестартуес сервисы
1 2 | /etc/init.d/elasticsearch restart /etc/init.d/kibana restart |
Подготовка формата логов nginx,php и nodejs
Настройка формата логов в nginx
1 2 3 4 5 6 7 | log_format logtodb '$time_iso8601;$http_host;$remote_addr;$http_x_forwarded_for;$request_method;$request;$status;$body_bytes_sent;$http_referer;$request_time;$upstream_http_x_cache;$uri;$upstream_addr;$host;$upstream_response_length;$upstream_status;$server_name;$http_host;$upstream_response_time'; log_format log '$request_method $scheme://$http_host$request_uri $http_host'; access_log /var/log/nginx/access_logtodb.log logtodb; error_log /var/log/nginx/error.log; |
Настройка логов php — отправка их в nginxerror.log
Добаляем в конфиг
1 2 3 4 | catch_workers_output = yes php_flag[display_errors] = on php_admin_value[error_log] = /var/log/fpm-php.www.log php_admin_flag[log_errors] = on |
Настройка формата логов nodejs, запускаемой через pm2
Делаем запуск с такими параметрами
1 | pm2 start server.js --merge-logs --log-type=json --log-date-format="YYYY-MM-DD HH:mm Z" -i 4 --watch --max-memory-restart 1200M |
На этом подготовка формата логов окончена
Настройка отправки логов через syslog-ng в postgres
Создаем базу в pg
1 | CREATE DATABASE site_parser; |
Правим файл
1 | nano/etc/syslog-ng/syslog-ng.conf |
Первый пример когда вам необходимо писать небольшой лог, например чтобы знать какие страницы у вас вообще посещаются
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 | ###### Источник для лога source nginx_access_cache { file( "/var/log/nginx/access-parse.log" follow_freq(1) flags(no-parse) ); }; ###### парсим лог здесь csv parser p_nginx_access_cache { csv-parser( columns("NGINX_GET", "NGINX_URL", "NGINX_URL2" "LAST_ANSWER") flags(escape-double-char,strip-whitespace) #flags(greedy) delimiters(";") quote-pairs('""[]') ); }; #Фильтры #исключаем \.jpeg|\.jpg|\.png|\.js|\.css|\.php filter f_parser_jpg { not match("jpg"); }; filter f_parser_jpeg { not match("jpeg"); }; filter f_parser_png { not match("png"); }; filter f_parser_js { not match("js"); }; filter f_parser_css { not match("css"); }; filter f_parser_php { not match("php"); }; filter f_parser_method{ match("GET"); }; ##Куда пишем destination d_postgres_remote { sql(type(pgsql) host("$POSTGRES_HOST") port("5432") username("postgres") password("$PG_PASSWORD") database("site_logs") table("access_site_new") columns("get text", "store1 text", "store2 varchar(80)", "last_answer varchar(255)" ) values("${NGINX_GET}", "${NGINX_URL}", "${NGINX_URL2}", "${LAST_ANSWER}") indexes("store1", "store2", "last_answer")); #unique ("store1")); }; ###Собственно сама строка по логу - лог,фильтр,парсер и куда пишем log {source(nginx_access_cache); filter(f_parser_method);filter(f_parser_jpg);filter (f_parser_jpeg); filter (f_parser_png); filter (f_parser_js); filter (f_parser_css); filter (f_parser_php); parser(p_nginx_access_cache); destination(d_postgres_remote); }; ###sql инсерт на уникальность Делаем запрос в бд - чтобы падали только уникальные логи #CREATE #OR REPLACE RULE access_site_new_rule_pkey AS ON INSERT TO access_site_new #WHERE #( #EXISTS ( #SELECT #1 #FROM #access_site_new #WHERE #access_site_new.store1 = NEW .store1 #) #) DO #INSTEAD NOTHING; |
Далее часть конфига с отправкой полного формата логов nginx access, nginx error, nodejs. Таблички в базе создаеются по имени хоста,дате.
1 | nano /etc/syslog-ng/syslog-ng.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 | ######################################################################### ###### Парсим nginx access-log и отправляем в postgres################## source nginx_acceess_log { file( "/var/log/nginx/access_logtodb.log" follow_freq(1) flags(no-parse) ); }; parser p_nginx_acceess_log { csv-parser(columns("NGINX_TIME", "NGINX_http_host", "NGINX_remote_addr", "NGINX_http_x_forwarded_for", "NGINX_request", "NGINX_request_method","NGINX_status", "NGINX_body_bytes_sent", "NGINX_http_referer", "NGINX_request_time", "NGINX_upstream_http_x_cache", "NGINX_uri", "NGINX_upstream_addr", "NGINX_host", "NGINX_upstream_response_length", "NGINX_upstream_status", "NGINX_server_name", "NGINX_$http_host", "NGINX_upstream_response_time") flags(escape-double-char,strip-whitespace) delimiters(";") quote-pairs('""[]') ); }; ###Формат лога #$time_iso8601;$http_host;$remote_addr;$http_x_forwarded_for;$request;$status;$body_bytes_sent;$http_referer;$request_time;$upstream_http_x_cache;$uri;$upstream_addr;$host;$upstream_response_length;$upstream_status;$server_name;$$http_host;$upstream_response_time destination d_postgres_nginx_acceess_log{ sql(type(pgsql) host("$POSTGRES_HOST") port("5432") username("site_logs") password("$PG_PASSWORD") database("site_logs") table("${HOST}_${R_YEAR}${R_MONTH}${R_DAY}_nginx_acceess") columns("NGINX_TIME text", "NGINX_http_host text", "NGINX_remote_addr text", "NGINX_http_x_forwarded_for text", "NGINX_request_method text", "NGINX_request text", "NGINX_status varchar(3)", "NGINX_body_bytes_sent text", "NGINX_http_referer text", "NGINX_request_time text", "NGINX_upstream_http_x_cache text", "NGINX_uri text", "NGINX_upstream_addr text", "NGINX_host text", "NGINX_upstream_response_length text", "NGINX_upstream_status varchar(3)", "NGINX_server_name text", "NGINX_$http_host text", "NGINX_upstream_response_time text") values("${NGINX_TIME}", "${NGINX_http_host}", "${NGINX_remote_addr}", "${NGINX_http_x_forwarded_for}", "${NGINX_request_method}", "${NGINX_request}", "${NGINX_status}", "${NGINX_body_bytes_sent}", "${NGINX_http_referer}", "${NGINX_request_time}", "${NGINX_upstream_http_x_cache}", "${NGINX_uri}", "${NGINX_upstream_addr}", "${NGINX_host }", "${NGINX_upstream_response_length}", "${NGINX_upstream_status}", "${NGINX_server_name}", "${NGINX_$http_host}", "${NGINX_upstream_response_time}") indexes("NGINX_request", "NGINX_uri", "NGINX_server_name")); }; log {source(nginx_acceess_log); parser(p_nginx_acceess_log); destination(d_postgres_nginx_acceess_log); }; ########################################################################################################### ####Nginx error log parsing source s_tail_nginx_error { file( "/var/log/nginx/error.log" follow_freq(1) flags(no-parse) ); }; destination d_file_nginx_error_log{ sql(type(pgsql) host("$POSTGRES_HOST") port("5432") username("site_logs") password("$PG_PASSWORD") database("site_logs") table("${HOST}_${R_YEAR}${R_MONTH}${R_DAY}_nginx_error") columns("datetime varchar(16)", "host varchar(32)", "program varchar(20)", "pid varchar(10)", "message varchar(800)") values("$R_DATE", "$HOST", "$PROGRAM", "$PID", "$MSG") indexes("datetime", "host", "program", "pid", "message")); }; log { source(s_tail_nginx_error ); destination(d_file_nginx_error_log); }; ########################################################################################################### ####node_error_log_parsing source s_tail_node { file( "/root/.pm2/logs/server-error.log" follow_freq(1) flags(no-parse) ); }; destination d_file_node_error{ sql(type(pgsql) host("$POSTGRES_HOST") port("5432") username("site_logs") password("$PG_PASSWORD") database("site_logs") table("${HOST}_${R_YEAR}${R_MONTH}${R_DAY}_nodejs_error") columns("datetime varchar(16)", "host varchar(32)", "program varchar(20)", "pid varchar(10)", "message varchar(800)") values("$R_DATE", "$HOST", "$PROGRAM", "$PID", "$MSG") indexes("datetime", "host", "program", "pid", "message")); }; log { source(s_tail_node); destination(d_file_node_error); }; |
Проверяем
1 | sudo /usr/sbin/syslog-ng -Fvde |
Если всё ок — стартуем
1 | sudo /etc/init.d/syslog-ng start |
Отправка логов на сервер syslog-ng от syslog-ng и вставка логов в postgresql,elasticsearch
Для того чтобы писать не напрямую в базу а в сервер логов syslog-ng, который уже будет отпралять это в базу NOsql elasticsearch или в SQL postgres нам понадобится внести изменения. Наш клиент будет отправлять логи на сервер по udp.
Настройка на клиенте.
Создадим отдельный файл с конфигом отправки логов. Удалим последние изменения — именно удалим блок с отправкой логов и создадим файл в
1 | /etc/syslog-ng/conf.d/output.conf |
Вставим туда следующее содержимое
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | #################################БЛОК1###################################################### ############################################################################################ ############################################################################################ ####Отправляем логи logserver43 destination syslog_server { udp("logserver43" port(25214)); }; ###### Какой файл парсим source nginx_acceess_log { file( "/var/log/nginx/access_logtodb.log" follow_freq(1) flags(no-parse) ); }; ###### Парсим файл, который был создан в формате csv parser p_nginx_acceess_log { csv-parser(columns("NGINX_TIME", "NGINX_http_host", "NGINX_remote_addr", "NGINX_http_x_forwarded_for", "NGINX_request", "NGINX_request_method","NGINX_status", "NGINX_body_bytes_sent", "NGINX_http_referer", "NGINX_request_time", "NGINX_upstream_http_x_cache", "NGINX_uri", "NGINX_upstream_addr", "NGINX_host", "NGINX_upstream_response_length", "NGINX_upstream_status", "NGINX_server_name", "NGINX_newurl", "NGINX_upstream_response_time","NGINX_user_agent") flags(escape-double-char,strip-whitespace) delimiters(";") quote-pairs('""[]') ); }; ###### Строка отправки лога с блоком парсера на удаленный сервер log {source(nginx_acceess_log); parser(p_nginx_acceess_log); destination(syslog_server); }; ############################################################################################ ############################################################################################ |
Настройка на сервере.
Создадим отдельный файл с конфигом отправки логов. Удалим последние изменения — именно удалим блок с отправкой логов и создадим файл в.
1 | /etc/syslog-ng/conf.d/input.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 | ##Прием логов с удаленных машин по udp на порт 25214 source remote_log_host { udp(port(25214)); }; ####Добавляем назначение логов - куда пишем ###Кладем в postgresql destination d_postgres_nginx_acceess_log{ sql(type(pgsql) host("127.0.0.1") port("6432") username("site_parser_logs") password("пароль_пользователя") database("site_parser_logs") table("Remote_host_site_logs") columns("DATE text","NGINX_TIME text", "NGINX_http_host text", "NGINX_remote_addr text", "NGINX_http_x_forwarded_for text", "NGINX_request_method text", "NGINX_request text", "NGINX_status text", "NGINX_body_bytes_sent text", "NGINX_http_referer text", "NGINX_request_time text", "NGINX_upstream_http_x_cache text", "NGINX_uri text", "NGINX_upstream_addr text", "NGINX_host text", "NGINX_upstream_response_length text", "NGINX_upstream_status text", "NGINX_server_name text", "NGINX_newurl text", "NGINX_upstream_response_time text", "NGINX_user_agent text") values("${R_DATE}","${NGINX_TIME}", "${NGINX_http_host}", "${NGINX_remote_addr}", "${NGINX_http_x_forwarded_for}", "${NGINX_request_method}", "${NGINX_request}", "${NGINX_status}", "${NGINX_body_bytes_sent}", "${NGINX_http_referer}", "${NGINX_request_time}", "${NGINX_upstream_http_x_cache}", "${NGINX_uri}", "${NGINX_upstream_addr}", "${NGINX_host }", "${NGINX_upstream_response_length}", "${NGINX_upstream_status}", "${NGINX_server_name}", "${NGINX_newurl}", "${NGINX_upstream_response_time}", "${NGINX_user_agent}") indexes( "NGINX_newurl")); }; ###Кладем в elasticsearch destination d_elastic { elasticsearch2( #client-lib-dir("/usr/share/elasticsearch/lib/") index("elasticsearch-${YEAR}.${MONTH}.${DAY}") type("test") time-zone("UTC") client_mode("http") flush-limit("10000") cluster_url("http://elasticsearchhost:9200") custom_id("${UNIQID}") template("$(format_json --scope nv_pairs --key ISODATE @timestamp=${ISODATE})") ); }; ####Блок с парсером принятых логов nginx на порт parser p_remote_log_host { csv-parser(columns("NGINX_TIME", "NGINX_http_host", "NGINX_remote_addr", "NGINX_http_x_forwarded_for", "NGINX_request", "NGINX_request_method","NGINX_status", "NGINX_body_bytes_sent", "NGINX_http_referer", "NGINX_request_time", "NGINX_upstream_http_x_cache", "NGINX_uri", "NGINX_upstream_addr", "NGINX_host", "NGINX_upstream_response_length", "NGINX_upstream_status", "NGINX_server_name", "NGINX_newurl", "NGINX_upstream_response_time","NGINX_user_agent") flags(escape-double-char,strip-whitespace) delimiters(";") quote-pairs('""[]') ); }; ###Кладем в elasticsearch log {source(remote_log_host); parser(p_remote_log_host); destination(d_elastic); }; ###Кладем в postgres log {source(remote_log_host); parser(p_remote_log_host); destination(d_postgres_nginx_acceess_log); }; |
Все рестартуем агенты на сервере и отправителе.
1 | sudo /etc/init.d/syslog-ng restart |
Заходим в kibana на
1 | https://127.0.0.1:5601 |
Добавляем индекс
1 | lasticsearch-* |
В поле timestamp выбираем
1 | @timestamp |
Смотрим в discover наши логи
Все разложено как и надо по парам!!!
Скрипт очистки логов nginx чтобы не засирать систему. Тут также td-agent — не обращаем на него внимания.
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 | #!/bin/bash kill -9 $(/bin/ps uax | grep 'td-agent' | /usr/bin/awk ' { print $2} ') /bin/sleep 5; rm -rf /var/log/nginx/*.log /bin/sleep 1; echo "Переинициализация логов nginx" [ ! -f /var/run/nginx.pid ] || /bin/kill -USR1 `/bin/cat /var/run/nginx.pid` echo "Рестарую td-agent" /etc/init.d/td-agent restart echo "Смотрим процессы" /bin/ps aux | grep nginx /etc/init.d/td-agent status |
Добавляем его по крону каждые 2 часа
Profit!!
Автор:humanЗапись логов nginx в базу данных mysql через syslog-ng
Ставим необходимые пакеты
1 | apt install -y syslog-ng syslog-ng-json libdbi-dbd-mysql mysql-server |
Создаем базу в mysql и таблицу
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 | aCREATE DATABASE nginx_logs CHARACTER SET utf8 COLLATE utf8_bin; CREATE USER 'nginx'@'%' IDENTIFIED BY 'yourpassword'; GRANT SELECT,INSERT,UPDATE,DELETE,CREATE,DROP,ALTER,INDEX on nginx_logs.* TO 'nginx'@'%'; flush privileges; Create table access_log ( id int8 unsigned auto_increment primary key, unixtime int4 unsigned, year year(4), month int, day int, fulldate timestamp, remote_addr varchar(50), remote_user varchar(100), request_method varchar(20), request_uri varchar(2048), status varchar(10), body_bytes_send int4 unsigned, request_time float, http_referrer varchar(2048), http_user_agent varchar(500), http_x_forwareded_for varchar(50), INDEX index_access_log_unixtime(unixtime), INDEX index_access_log_month(month), INDEX index_access_log_day(day) ); |
Настраиваем фомат логов в nginx
1 2 3 | alog_format main '$remote_addr $remote_user [$time_local] $request_method "$request_uri" ' '$status $body_bytes_sent $request_time "$http_referer" ' '"$http_user_agent" "$http_x_forwarded_for"'; |
Отправляем логи в syslog-ng
1 | aaccess_log syslog:server=127.0.0.1 main; |
Правим syslog-ng файл. Настраиваем парсинг и запись лога в базу данных
1 | anano /etc/syslog-ng/syslog-ng.conf |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 | aoptions { flush_lines (100); time_reopen (10); log_fifo_size (1000); chain_hostnames (off); use_dns (no); use_fqdn (no); create_dirs (yes); keep_hostname (yes); }; source s_nginx_network{ network( ip(127.0.0.1) port(514) transport("udp") ); }; parser p_nginx { csv-parser( columns("REMOTE_ADDR", "REMOTE_USER", "TIME_LOCAL", "REQUEST_METHOD", "REQUEST_URI", "STATUS", "BODY_BYTES_SEND", "REQUEST_TIME", "HTTP_REFERER","HTTP_USER_AGENT", "HTTP_X_FORWARDED_FOR") flags(escape-double-char,strip-whitespace) delimiters(" ") quote-pairs('""[]') ); }; destination d_sql { sql( type(mysql) host("mysql.itc-life.ru") port(3306) username("nginx") password("yourpassword") session-statements("SET COLLATION_CONNECTION='utf8_general_ci'") database("nginx_logs") table("access_log") columns("id int8 unsigned auto_increment primary key", "unixtime int4 unsigned", "year year(4)", "month int", "day int", "fulldate timestamp", "remote_addr varchar(50)", "remote_user varchar(100)", "request_method varchar(20)", "request_uri varchar(2048)", "status varchar(10)", "body_bytes_send int4 unsigned", "request_time float", "http_referrer varchar(2048)", "http_user_agent varchar(500)", "http_x_forwareded_for varchar(50)") values(default,"${UNIXTIME}", "${YEAR}", "${MONTH}", "${DAY}", "${YEAR}-${MONTH}}-${DAY} ${HOUR}-${MIN}-${SEC}", "${REMOTE_ADDR}","${REMOTE_USER}","${REQUEST_METHOD}","${REQUEST_URI}", "${STATUS}","${BODY_BYTES_SEND}","${REQUEST_TIME}", "${HTTP_REFERER}","${HTTP_USER_AGENT}","${HTTP_X_FORWARDED_FOR}") indexes("unixtime") indexes("month") indexes("day") null("-") ); }; log { source(s_nginx_network); parser(p_nginx); destination(d_sql); }; |
Сохраняемся.
ЗАпускаем в режиме дебага
1 | /usr/sbin/syslog-ng -Fvde |
Перезапускаем после-то как ве проверили
1 | /etc/init.d/syslog-ng restart |