Меню
Что нового?

Log Manager

  • Автор темы Автор темы stalxed
  • Дата начала Дата начала

stalxed

Новичок
В проекте необходима хорошая система логирования.
Писать в файлы - их потом очень тяжело обрабатывать(отображение в веб интерфейсе, поиск)...
Писать в базу данных - нужно возиться со вторым подключением к основной БД, да и желательно использовать какую-нибудь NoSQL БД.
Работы получается много из-за каких логов...
Вспомнилось, что видел лог менеджеры, поискал, нашёл:
https://www.graylog2.org/
Судя по тексту на сайте - монстр, он превышает потребности моей задачи в разы.
Но судя по всему его настройка задача не из лёгких...

Никто не пробовал этот или подобные продукты для ведения логов?
Они стоят того, чтобы с ними разобраться?
 
не нужно
Нажмите для раскрытия...
Пишем в том же подключение, запись лога попадает в рамки транзакции, транзакция завершается не успешно, откат транзакции - и логи тоже прощайте. Хотя они то и нужны, чтобы понять, почему транзакция откатывается.
А PHP Doctrine 2 дак вообще обрывает подключение в случае не успешной транзакции. И кстати правильно делает.

Погуглил понял, что в принципе 2 решения не SaaS модели:

Что лучше выбрать?
 
Для логирования есть стандарт PSR и его реализация https://github.com/Seldaek/monolog c кучей хэндлеров, не надо велосипедить.
Для логирования ошибок я пользовался errbit-ом
Для логирования всего можно пользоваться datadog-ом, но мне не он не нравится. Самому интересны альтернативы.
 
AmdY написал(а):
Для логирования есть стандарт PSR и его реализация https://github.com/Seldaek/monolog c кучей хэндлеров, не надо велосипедить.
Нажмите для раскрытия...
Ну я его сейчас и использую, пишу в файлы.
Написать адаптер, если нет из коробки(к graylog2, logstash, etc) - не проблема.

AmdY написал(а):
Для логирования всего можно пользоваться datadog-ом, но мне не он не нравится.
Нажмите для раскрытия...
Выглядит очень круто, чем он не понрвился? Ну помимо того, что SaaS(или есть серверная версия?).
 
rollbar.com getsentry.com ?
модно облачно молодежно, удобно и готово
 
grigori, спасибо, но забыл дописать, SaaS использовать не могу.
Да у удаленный вызов, чёрт знает куда(нет гарантии что между сервером приложения и SaaS сервисом хороший маршрут), это модно?
Это можно компенсировать локальным сервером очередей - но это уже не вписывается в параметр удобно :)

Два решения уже нашёл:
На неделе потестирую.

Интересно услышать отзывы от тех кто использовал!
 
elastic + logstash ок. Логстешем, кстати, можно и во что попроще писать, если проект небольшой.
 
fixxxer, а что используйте как веб морду?
Как можно группировать логи(категории? под категории?)?
Насколько гибкие поисковые запросы можно делать?
 
stalxed написал(а):
Выборка логов из файлов по параметрам, если нужно сделать выборку за месяц, и отобразить всё на странице, с пагинаций - весьма нетривиально.
Нажмите для раскрытия...
Дело не в тривиальности, дело в постановке и оценке условий.
Потом, никто не заставляет ХРАНИТЬ логи в файлах, и тем более отображать информацию из лог-файлов в реалтайм. Такие вещи, как awstat и подобные, придумали годы назад.
 
Дело не в тривиальности, дело в постановке и оценке условий.
Потом, никто не заставляет ХРАНИТЬ логи в файлах, и тем более отображать информацию из лог-файлов в реалтайм. Такие вещи, как awstat и подобные, придумали годы назад.
Нажмите для раскрытия...
Вы говорите про статистику использования. Т.е. о составление отчетов по логам.
А я о логирование действий(т.е. действий бизнес логики). Нужны не отсчёты, а рейл тайм лог с возможностью поиска, разбиения на страницы и т.д.
 
stalxed написал(а):
fixxxer, а что используйте как веб морду?
Как можно группировать логи(категории? под категории?)?
Насколько гибкие поисковые запросы можно делать?
Нажмите для раскрытия...
Форк кибаны. Делать можно что угодно, кибана это ж обычное ангуляр приложение
 
stalxed, тебе шашечки или ехать?
да, удаленный вызов - это модно, я написал в форме шутки не случайно :)

устраивать зверинец с jre для логов - я бы затрахался это мэйнтейнить, при переезде бессонная ночь обеспечена, а если ты уйдешь - те, кто останется, еще долго будут тебя ненавидеть
впрочем, если у тебя гигабайты логов в проекте и целый devops-отдел - нет проблем, enterprize-решения как-раз подойдут
 
Последнее редактирование:
fixxxer написал(а):
Форк кибаны. Делать можно что угодно, кибана это ж обычное ангуляр приложение
Нажмите для раскрытия...
Спасибо, буду тестить.

grigori,
устраивать зверинец с jre для логов
Нажмите для раскрытия...
именно это больше всего и пугает... там 3 программы получается: elasticsearch, kibana, elasticsearch - жесть :(

SaaS не могу использовать по требованиям(нельзя SaaS и всё такое).
Выбор между "зверинцем" и самописом...
 
Вурдалак написал(а):
щито? Отключил handler с elastic search и все.
Нажмите для раскрытия...
Потом неделю этот зоопарк восстанавливать на новом сервере.
За это время логи валятся в файлы, у кодеров текут сопли потому что привыкли красивенько, у тестеров красный чеклист, у менеджеров панический удар, у владельца вопрос кого уволить.

Если в проекте несколько команд, и нужен зверинец - нужны девопсы.
Если их нет - я бы эту подсистему вынес на виртуалку и отдал maintenance на аутсорс серьезной команде админов. Когда мне надо будет это восстановить-переехать - я им это и поручу.
И швец, и жнец - дорога в ад.
 
Последнее редактирование:
Нормальные девопсы заранее завернут все подсистемы в докер, их конфигурацию в puppet/ansible, и развернут на раз-два.

А мейнтененс системы php-программистами - это в любом случае плохая идея. :)
 
Войдите или зарегистрируйтесь для ответа.
Сверху