Apache2 logs send to elasticsearch and kibana with syslog-ng
Прости меня Игорь!!!)).
!!!!Читаем статью с первоначальной настройкой системы сборы логов здесь.!!!! Это дополнение.
1. Config server with apache2 and syslog-ng log forwarder
Tune log format in apache2.conf
nano /etc/apache2/apache2.conf
LogFormat '"%t"|"%a"|"%A"|"%V"|"%U"|"%m"|"%s"|"%{User-agent}i"|"%{Referer}i"|"%q"|"%B"|"%D"|"%I"|"%O"' full_format
CustomLog /var/log/apache2/access_full.log full_format
ErrorLogFormat '"%t"|"[C:%{c}L]"|"%l %7F: %E: "|"%A"|"%M% ,\"|"%{Referer}i"'
ErrorLog ${APACHE_LOG_DIR}/error.log
And restart apache2
/etc/init.d/apache2 restart
Edit syslog-ng log forwarder. Add to config
nano /etc/syslog-ng/conf.d/web-logs.conf
##########APACHE2LOGS#####################################
##########################################################
source s_tail_log_host_apache2_main { file( "/var/log/apache2/access_full.log"
follow_freq(1)
flags(no-parse)
);
};
destination tcp-apache2 {
tcp (
"syslogng-server"
port(25002)
disk-buffer(
mem-buf-length(10000)
disk-buf-size(2000000)
reliable(no)
)
);
};
log {source(s_tail_log_host_apache2_main); destination(tcp-apache2);};
########################################################
########################################################
source s_tail_apache2_error { file( "/var/log/apache2/error.log"
follow_freq(1)
flags(no-parse)
);
};
destination d_server_apache2_error {
tcp (
"syslogng-server"
port(25003)
disk-buffer(
mem-buf-length(10000)
disk-buf-size(2000000)
reliable(no)
)
);
};
log {source(s_tail_apache2_error ); destination(d_server_apache2_error);};
Add mapping to elasticsearch
curl -H "Content-Type: application/json" -XPUT 'http://127.0.0.1:29200/_template/apache2access_per_index' -d \
'{
"template" : "apache2access-*",
"mappings" : {
"_default_" : {
"properties" : {
"apache2" : {
"properties" : {
"response_size": {"type": "integer","ignore_malformed": true},
"response_time": {"type": "integer","ignore_malformed": true},
"remote_addr": {"type": "ip","ignore_malformed": true},
"local_addr": {"type": "ip","ignore_malformed": true},
"status": {"type": "integer","ignore_malformed": true},
"bytes_received": {"type": "integer","ignore_malformed": true},
"bytes_sent": {"type": "integer","ignore_malformed": true},
"request": {"type": "text","fields": {"keyword": {"type": "keyword"}
}
}
}
},
"geoip2" : {
"properties" : {
"location2" : {"type" : "geo_point"}
}
}
}
}
}
}
}'
Restart syslog-ng
syslog-ng -s /etc/init.d/syslog-ng restart
2. Edit log agregator syslog-ng elasticsearch.
Edit log agregator config.
add to conf file
##Принимаем apache2 access logs на порт 25002
source tcp-apache2-accesslogs {
tcp(port(25002)
so_rcvbuf(67108864)
log_iw_size(100000)
log_fetch_limit(1000000)
max-connections(200));
};
###Парсим принятые логи nginx, здесь мы указываем имена полей, куда будут попадать данные, укажем также разделитель полей символ "|"
parser p-apache2-acessfull-mapped {
csv-parser(columns("apache2.time","apache2.remote_addr", "apache2.local_addr", "apache2.host", "apache2.request", "apache2.request_method", "apache2.status", "apache2.user_agent","apache2.referer", "apache2.query_string", "apache2.response_size", "apache2.response_time", "apache2.bytes_received","apache2.bytes_sent")
flags(escape-double-char,strip-whitespace)
delimiters("|")
quote-pairs('""[]')
);
};
###Здесь мы сверяем прилетающий ip из логов nginx - в поле "nginx.remote_addr" с нашей базой данных maxmidn geoip2
parser p_geoip2apache { geoip2( "${apache2.remote_addr}", prefix( "geoip2." ) database( "/etc/syslog-ng/GeoLite2-City.mmdb" ) ); };
##Rewrite необходим для того, чтобы информация о местоположении находилась в форме, ожидаемой Elasticsearch. Он выглядит несколько более сложным, чем для первой версии анализатора GeoIP, поскольку имеется больше информации и информация теперь структурирована.
rewrite r_geoip2 {
set(
"${geoip2.location.latitude},${geoip2.location.longitude}",
value( "geoip2.location2" ),
condition(not "${geoip2.location.latitude}" == "")
);
};
###Направляем nginx_
destination d_elastic-apache2-acessfull {
elasticsearch2(
index("apache2access-${YEAR}.${MONTH}")
type("test")
time-zone("UTC")
client_mode("http")
flush-limit("100")
cluster_url("http://elasticsearch:9200")
custom_id("${UNIQID}")
template("$(format-json --scope rfc5424 --scope nv-pairs --exclude DATE --key ISODATE)")
type("apache2access")
persist-name(elasticsearch-apache2access)
);
};
log {source (tcp-apache2-accesslogs);
parser(p-apache2-acessfull-mapped);
rewrite(r_geoip2);
parser(p_geoip2apache);
destination(d_elastic-apache2-acessfull);};
##Принимаем apache2 error logs на порт 25003
source tcp-apache2-errorlogs {
tcp(port(25003)
so_rcvbuf(67108864)
log_iw_size(100000)
log_fetch_limit(1000000)
max-connections(200));
};
###Парсим принятые логи nginx, здесь мы указываем имена полей, куда будут попадать данные, укажем также разделитель полей символ "|"
parser p-apache2-error-mapped {
csv-parser(columns("apache2.time","apache2.pid", "apache2.level", "apache2.host", "apache2.message", "apache2.refferer")
flags(escape-double-char,strip-whitespace)
delimiters("|")
quote-pairs('""[]')
);
};
###Направляем nginx_
destination d_elastic-apache2-error {
elasticsearch2(
index("apache2error-${YEAR}.${MONTH}")
type("test")
time-zone("UTC")
client_mode("http")
flush-limit("100")
cluster_url("http://elasticsearch:9200")
custom_id("${UNIQID}")
template("$(format-json --scope rfc5424 --scope nv-pairs --exclude DATE --key ISODATE)")
type("apache2error")
persist-name(elasticsearch-apache2error)
);
};
log {source (tcp-apache2-errorlogs);
parser(p-apache2-error-mapped);
destination(d_elastic-apache2-error);};
Restart syslog-ng
syslog-ng -s /etc/init.d/syslog-ng restart
Go to kibana and add index
And build visualisation
