Показать сообщение отдельно
Старый 02.12.2015, 08:31   #15
Glueon
Пользователь
 
Аватар для Glueon
 
Регистрация: 21.11.2014
Адрес: Internet
Сообщений: 33
Вы сказали Спасибо: 1
Поблагодарили 0 раз(а) в 0 сообщениях
Репутация: 10
По умолчанию

Сегодня мы хотим кратко рассказать о решении, которое мы используем для сбора и анализа логов. Речь пойдет о софте Fluentd.

Как показывает практика, в проектах существует различное число сервисов, генерирующих логи в том или ином виде. К примеру, apache, nginx, syslog и прочие. Со временем и с ростом числа сервисов встает проблема анализа логов. Это необходимо чтобы считать суммарно число ваших пользователей, нагрузку на сервисы, анализ запросов и прочее.

Основная проблема - как сделать это удобно, так как ручная обработка с помощью различных консольных утилит является слишком неудобной. К примеру, у вас много фрондентов и вам необходимо анализировать приходящие http-запросы или же ошибки, чтобы делать какие-то выводы.

Для таких задач мы предлагаем настройку сервиса Fluentd, с помощью которого можно собирать логи из различных источников, к примеру тех же log-файлов, фильтровать, преобразовывать и складывать в какое-либо единдое хранилище: elasticsearch, mongodb, postgresql, просто в файлы и т.д. После того как данные прошли через Fluentd и попали в хранилище, их достаточно просто анализировать.

Мы можем написать панель для аналитики ваших данных, можем использовать уже готовое решение - панель Kibana, которая работает в паре с Elasticsearch и позволяет строить различные графики, используя специальный запрос. Мы сами используем Fluentd для анализа серверных логов, для того чтобы вычленять различные аномалии и анализировать их связь с введением какого-либо функционала, изменениями настроек серверного ПО.

Свяжитесь с нами:
jabber: [email]slava@contactroot.com[/email]
skype: contactroot
icq: 657324100
__________________
ContactRoot:
Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий).
и
Для просмотра ссылок или изображений в подписях, у Вас должно быть не менее 30 сообщение(ий). Сейчас у Вас 0 сообщение(ий).
.
Glueon вне форума   Ответить с цитированием