powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Java [игнор отключен] [закрыт для гостей] / Система логгинга для кластера.
11 сообщений из 11, страница 1 из 1
Система логгинга для кластера.
    #38244538
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Значится вопрос очень простой, есть кластер из 8 нодов.
Если случается капец - то приходится коннектиться ко всем сервакам по одному и рыть логи. Поднадоело. Кто как решает проблему?
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244548
just_vladimir
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244550
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну я кагбе понимаю возможные пути решения, меня интересует практический опыт обитающих тут людей
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244568
АлексейС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не у меня, но у коллег есть положительный опыт с scribe . Позволяет перенаправлять логи куда угодно, в том числе и в несколько мест. Быстрая и качественная вещь. Используется в facebook.
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244661
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АлексейСНе у меня, но у коллег есть положительный опыт с scribe . Позволяет перенаправлять логи куда угодно, в том числе и в несколько мест. Быстрая и качественная вещь. Используется в facebook.

Да вот тоже наслышан... Осталось определиться стоит ли овчинка выделки, или обойтись простым log4j-ным сокет адаптером. А не слышали какие-то неудобство вообще были со скрайбом? Ну мож настроить трудно, зато летает, или наоборот, запустилось сразу, но кучу мелких багов..
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244682
АлексейС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,

Задача была в централизованной доставке логов от разных серверов: фронтендов и бекендов, причём нигде не использовалась java. Поэтому выбор был куда проще :)

Scribe, емнип, имеет такие особенности:
1) когда вы отправляете логи в скрайб - они оседают в локальном скрайбе. Потом отправляются на центральный сервер, либо куда вам еще пожелается.

2) Следовательно если центральный сервер на время умрёт или умрёт совсем, логи потеряны не будут, они отправятся тогда, когда будет возможность.

3) это предельно быстро, так как вы, по сути, работаете с локальной машиной, а не передаёте логи по сети в самом приложении

4) но это требует переписи приложения, либо написания некого tail'ера для логов.

Насчёт SocketAppender'a в log4j - у меня вот после этой строчки "If the remote server is down, the logging requests are simply dropped. However, if and when the server comes back up, then event transmission is resumed transparently. This transparent reconneciton is performed by a connector thread which periodically attempts to connect to the server." желание пользоваться этим отпадает сразу.

Но если предполагается отправлять только логи с java app серверов и потеря логов не пугает - то это самый лучший вариант. Так как самый простой :)
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244684
АлексейС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АлексейС,

А, ну и да - ведь вся эта штуковина с log4j, насколько я понимаю, использует обычную сериализацию. Не думаю, что они что-то сильно оптимизировали. То есть если логи пишутся активно с 8ми серверов, то не вариант совсем.
1) прямо из приложения общаемся с каким-то центральным сервером по сети, который может внезапно отвалиться или очень долго тупить
2) создаётся куча лишних объектов и захламляется хип. Мелочь, а неприятно.
3) медленная сериализация
4) потеря логов, в случае недоступности центрального сервера...

В общем ужас.
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244685
АлексейС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,

Если совсем не хочется париться с scribe, а доставку логов хочется - почему бы не заюзать старый добрый bash? Это дёшево и сердито. Если размеры - не сотни гигов, ротируемые логи доставить ночью - раз плюнуть. Но это, конечно, не realtime и это минус...
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244687
АлексейС
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
забыл ник,

Пофлужу еще чуть-чуть :) Насчёт багов scribe: помнится настроили его довольно быстро, проблем с этим не возникло. Был нюанс - что пришлось в сишном коде мелкий фикс делать, но деталей я не знаю, скорее всего это был инфраструктурный наворот, а не необходимость. Но то, что фикс был - факт.
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38244919
Фотография vromanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Логи пишутся локально в запакованном виде. rsync синхрит их на один сервер. также строятся графики по количеству сообщений разного уровня, поэтому в случае чего можно понять где жопа просто посмотрев на графики
...
Рейтинг: 0 / 0
Система логгинга для кластера.
    #38245125
забыл ник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
АлексейС,

Спасибо за ответы, кое что прояснилось. Осталось взвесить и выбрать, баш рсинк и тд не катят по причине не реалтайма.
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / Java [игнор отключен] [закрыт для гостей] / Система логгинга для кластера.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]