powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Централизованное управление логами
25 сообщений из 35, страница 1 из 2
Централизованное управление логами
    #38897429
sec0nd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем доброго дня.
Возникла необходимость собирать логи с большого числа сервисов с нескольких серверов.
Есть ли какие-нибудь открытые централизованные решения?
Пока что нашел только различные подобия LOGalyze, которые умеют только собирать логи с локального сервера, а мне нужно еще и по сети.
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38897460
miwaonline
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sec0nd,

syslog чем не подходит?
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38897472
sec0nd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miwaonlinesec0nd,

syslog чем не подходит?
Требуются не только системные логи, но и логи приложений.
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38897501
miwaonline
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sec0ndmiwaonlinesec0nd,

syslog чем не подходит?
Требуются не только системные логи, но и логи приложений.
А с каких пор syslog перестал вести логи приложений?
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38900162
sec0nd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Всем спасибо, нашел хорошую статью благодаря вашим комментариям.
http://sharadchhetri.com/2014/03/01/install-and-configure-rsyslog-on-rhel-6-centos-6/
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38916878
sec0nd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Только вот одно непонятно: как заставить rsyslog собирать данные сторонних(самописных) приложений?
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38916885
Фотография Alexey Zhidkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sec0ndТолько вот одно непонятно: как заставить rsyslog собирать данные сторонних(самописных) приложений?
ну если программеры позаботились о записи логов в syslog - то проблем нет.
иначе, имхо, допиливать код.
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38916902
sec0nd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Zhidkovsec0ndТолько вот одно непонятно: как заставить rsyslog собирать данные сторонних(самописных) приложений?
ну если программеры позаботились о записи логов в syslog - то проблем нет.
иначе, имхо, допиливать код.

Вообще есть один способ - подружаемый модуль $ModLoad imfile. Он по идее должен брать весь вывод из указанного файла.
На тесте у меня так и было
На продуктиве выдает странный глюк: пишет все не в указанное место, а в /var/log/message, но это не самое страшное. Самое страшное - пишет он весь свой вывод постонно, копируя при этом весь вывод циклично. За минуту файл лога набирает несколько сотен мегабайт.

Может кто-нибудь знает другой централизованный способ сбора логов?
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38916912
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sec0ndМожет кто-нибудь знает другой централизованный способ сбора логов?
Монтирование в качестве /var/log сетевого ресурса не предлагать?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38916917
sec0nd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakovsec0ndМожет кто-нибудь знает другой централизованный способ сбора логов?
Монтирование в качестве /var/log сетевого ресурса не предлагать?

Нет, спасибо)))
Да и логи пишутся в /var/log, а в разные места.
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38917326
sec0nd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sec0ndDimitry Sibiryakovпропущено...

Монтирование в качестве /var/log сетевого ресурса не предлагать?

Нет, спасибо)))
Да и логи пишутся в /var/log, а в разные места.
Да и логи пишутся не в /var/log, а в разные места
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38920569
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miwaonlinesec0ndпропущено...

Требуются не только системные логи, но и логи приложений.
А с каких пор syslog перестал вести логи приложений?
а с каких это пор syslog вел изначально логи приложений ?
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38920570
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miwaonlinesec0ndпропущено...

Требуются не только системные логи, но и логи приложений.
А с каких пор syslog перестал вести логи приложений?
есть приложения которые syslog не ведет...
у них своя система логирования, ну кончено за исключением общеизвестных там nginx, apache, самому такой софт интересен...
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38920573
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sec0ndТолько вот одно непонятно: как заставить rsyslog собирать данные сторонних(самописных) приложений?
а Zabbix не пробывали ? там тоже какой-то анализатор логов есть, мне интересен его функционал, что умеет делать ?
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38920712
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
loginovrusec0ndТолько вот одно непонятно: как заставить rsyslog собирать данные сторонних(самописных) приложений?
а Zabbix не пробывали ? там тоже какой-то анализатор логов есть, мне интересен его функционал, что умеет делать ?Zabbix предназначен для других задач
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921090
Фотография Alexey Zhidkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
loginovruмне интересен его функционал, что умеет делать ?
не поверишь! www.zabbix.com, там можно почитать :)
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921534
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bga83loginovruпропущено...

а Zabbix не пробывали ? там тоже какой-то анализатор логов есть, мне интересен его функционал, что умеет делать ?Zabbix предназначен для других задач
Zabbix это программное обеспечение мониторинга многочисленных параметров сети а также состояния и работоспособности серверов. Zabbix использует гибкий механизм уведомлений, что позволяет пользователям настраивать оповещения по почте практически для любого события. Это дает возможность быстро среагировать на проблемы с сервером. Zabbix предлагает отличные возможности отчетности и визуализации данных, базируясь на собранных данных. Это делает Zabbix идеальным инструментом для планирования и масштабирования.

for BGA83: Zabbix предлагает отличные возможности отчетности и визуализации данных, базируясь на собранных данных.
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921541
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
loginovrubga83пропущено...
Zabbix предназначен для других задач
Zabbix это программное обеспечение мониторинга многочисленных параметров сети а также состояния и работоспособности серверов. Zabbix использует гибкий механизм уведомлений, что позволяет пользователям настраивать оповещения по почте практически для любого события. Это дает возможность быстро среагировать на проблемы с сервером. Zabbix предлагает отличные возможности отчетности и визуализации данных, базируясь на собранных данных. Это делает Zabbix идеальным инструментом для планирования и масштабирования.

for BGA83: Zabbix предлагает отличные возможности отчетности и визуализации данных, базируясь на собранных данных.копи-пастить умеешь замечательно. Другое дело, что у меня есть обширный опыт работы с Zabbix, включая единоличное по сути его внедрение в одном из довольно крупных банков РФ, так что его возможности я хорошо представляю. Так вот анализ логов в нем вести крайне неблагодарное дело, да можно выцепить ряд довольно простых моментов(в духе подвисания сервиса, перебор паролей и тп), но не более того. Для относительно сложных вещей Zabbix по части анализа логов не годится. Ну и кстати сказать отчетность тоже не самая сильная сторона Zabbix. Хотя в остальном система замечательная.

А еще мне интересно ты про недельные курсы по Zabbix с сертификацией за 3600$ тоже считаешь, что это разводило лохов на деньги?
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921556
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
bga83loginovruпропущено...

Zabbix это программное обеспечение мониторинга многочисленных параметров сети а также состояния и работоспособности серверов. Zabbix использует гибкий механизм уведомлений, что позволяет пользователям настраивать оповещения по почте практически для любого события. Это дает возможность быстро среагировать на проблемы с сервером. Zabbix предлагает отличные возможности отчетности и визуализации данных, базируясь на собранных данных. Это делает Zabbix идеальным инструментом для планирования и масштабирования.

for BGA83: Zabbix предлагает отличные возможности отчетности и визуализации данных, базируясь на собранных данных.копи-пастить умеешь замечательно. Другое дело, что у меня есть обширный опыт работы с Zabbix, включая единоличное по сути его внедрение в одном из довольно крупных банков РФ, так что его возможности я хорошо представляю. Так вот анализ логов в нем вести крайне неблагодарное дело, да можно выцепить ряд довольно простых моментов(в духе подвисания сервиса, перебор паролей и тп), но не более того. Для относительно сложных вещей Zabbix по части анализа логов не годится. Ну и кстати сказать отчетность тоже не самая сильная сторона Zabbix. Хотя в остальном система замечательная.

А еще мне интересно ты про недельные курсы по Zabbix с сертификацией за 3600$ тоже считаешь, что это разводило лохов на деньги?

в смысле - можно выцепить ряд довольно простых моментов и не более ? ты вообще документацию читал ? Вот у них в доке написано, что он может работать с любыми логами, любых сервисов https://www.zabbix.com/documentation/2.0/ru/manual/config/items/itemtypes/log_items
logrt["/home/user/filelog_.*_[0-9]{1,3}","совпадение_с_шаблоном","UTF-8",100].
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921560
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
а вот данные которые он умеет собирать - достаточно, для анализа )))
https://www.zabbix.com/documentation/2.0/ru/manual/config/items/itemtypes/zabbix_agent#supported_item_keys
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921562
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot bga83]loginovruпропущено...А еще мне интересно ты про недельные курсы по Zabbix с сертификацией за 3600$ тоже считаешь, что это разводило лохов на деньги?
ну можно самому разобраться читая доки, а можно заплатить 3600 - тебе расскажут что куда и как.... )) поэтому разводняком я это не считаю..
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921573
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
loginovrubga83пропущено...
копи-пастить умеешь замечательно. Другое дело, что у меня есть обширный опыт работы с Zabbix, включая единоличное по сути его внедрение в одном из довольно крупных банков РФ, так что его возможности я хорошо представляю. Так вот анализ логов в нем вести крайне неблагодарное дело, да можно выцепить ряд довольно простых моментов(в духе подвисания сервиса, перебор паролей и тп), но не более того. Для относительно сложных вещей Zabbix по части анализа логов не годится. Ну и кстати сказать отчетность тоже не самая сильная сторона Zabbix. Хотя в остальном система замечательная.

А еще мне интересно ты про недельные курсы по Zabbix с сертификацией за 3600$ тоже считаешь, что это разводило лохов на деньги?

в смысле - можно выцепить ряд довольно простых моментов и не более ? ты вообще документацию читал ? Вот у них в доке написано, что он может работать с любыми логами, любых сервисов https://www.zabbix.com/documentation/2.0/ru/manual/config/items/itemtypes/log_items
logrt["/home/user/filelog_.*_[0-9]{1,3}","совпадение_с_шаблоном","UTF-8",100].
похоже придется подробнее расписать. Забрать логи на сервер это пустяк, который не будет являться самоцелью(хотя и тут тоже есть тонкости, например, если лог пишется быстрее чем сервер забикса способен забрать). Тащить логи в Zabbix исключительно ради того, чтобы их смотреть через веб-интерфейс, глупо, надо выявлять в логах какие-то проблемы в поведении сервисов и сообщать об этом. Простейшие примеры я как раз и привел. А вот с более сложным анализом не выйдет. Простой пример из того, что в банке не получилось реализовать именно средствами Zabbix: есть куча логов транзакций по счетам физ.лиц в текстовом виде(повторю именно текст, хотя и структурированный), надо для фин.мониторинга выбрать тех клиентов у кого оборот за определнный промежуток превысил 600т.р.


loginovruа вот данные которые он умеет собирать - достаточно, для анализа )))
https://www.zabbix.com/documentation/2.0/ru/manual/config/items/itemtypes/zabbix_agent#supported_item_keys помимо данных с агента этого там еще куча чего есть: JMX,ODBC,IPMI,SNMP(включая трапы) и тд, но к агрегации логов это не имеет никакого отношения.
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921582
loginovru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot bga83]loginovruпропущено...
есть куча логов транзакций по счетам физ.лиц в текстовом виде(повторю именно текст, хотя и структурированный), надо для фин.мониторинга выбрать тех клиентов у кого оборот за определнный промежуток превысил 600т.р.
хочешь сказать что zabbix абсолютно не умеет работать с фильтрами ?
если по нашему топику, то аФтару как раз нужна тулза которая собирает с серверов логи, харанит и анализирует, заббикс
похоже для этого самое то..
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38921588
Фотография bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
loginovrubga83пропущено...
есть куча логов транзакций по счетам физ.лиц в текстовом виде(повторю именно текст, хотя и структурированный), надо для фин.мониторинга выбрать тех клиентов у кого оборот за определнный промежуток превысил 600т.р.
хочешь сказать что zabbix абсолютно не умеет работать с фильтрами ?
если по нашему топику, то аФтару как раз нужна тулза которая собирает с серверов логи, харанит и анализирует, заббикс
похоже для этого самое то..сам посмотри на перечень поддерживаемых функций . Для анализа строк раз, два и обчелся что можно использовать. Да, можно выявить факт вхождения определенных подстрок, были ли изменения и тп простые вещи, но распарить строку имеющимся встроенным функционалом не представляется возможным.
...
Рейтинг: 0 / 0
Централизованное управление логами
    #38922682
Фотография Alexey Zhidkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Поддержу Бга, заббикс для сбора логов не сильно удобен.
...
Рейтинг: 0 / 0
25 сообщений из 35, страница 1 из 2
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Централизованное управление логами
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]