powered by simpleCommunicator - 2.0.43     © 2025 Programmizd 02
Форумы / Программирование [игнор отключен] [закрыт для гостей] / обработка лога tomcat
8 сообщений из 8, страница 1 из 1
обработка лога tomcat
    #39621382
NewIvanovec
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Хочу содержимое лог файла tomcat закинуть в БД чтобы там обработать.
Логически понятно, что в логе 3 поля - дата, уровень сообщения (Info, error и т.д) и текст сообщения.
какими программами этот лог можно обработать: например, logparser не берёт этот лог :( и все 3 поля рассматривает как будто это одно поле

OS Windows
...
Рейтинг: 0 / 0
обработка лога tomcat
    #39621475
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не делайте себе странного ...
"Лог есть есть" и этот текст слабо структурирован.
Используйте то, что доктор прописал - grep & Co.
А для отслеживания метрик существует JMX .

P.S. Формат лога настраивает тот, кто его читает.
В нормальной ситуации логи читает админ системы, а нормальный админ "разбирает" логи специализированными утилитами.
СУБД в этот комплект не входит.
...
Рейтинг: 0 / 0
обработка лога tomcat
    #39621476
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov"Лог есть есть текст "
...
Рейтинг: 0 / 0
обработка лога tomcat
    #39621826
NewIvanovec
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Basil A. SidorovНе делайте себе странного ...
Используйте то, что доктор прописал - grep & Co.

Спасибо, понял.
grep это аналог Powershell. Значит создавать разбор лога самому
...
Рейтинг: 0 / 0
обработка лога tomcat
    #39621843
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
МощнаяТочка это такой язык программирования, который пытается пролезть во все щели.
grep - одна из многих утилит поиска в тексте по образцу, включая шаблоны- регулярные выражения .
...
Рейтинг: 0 / 0
обработка лога tomcat
    #39621858
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
NewIvanovecчтобы там обработать.Вот отсюда - поподробнее. Какого рода обработка нужна?
И какой объём логов предполагается к конвертации для последующего анализа?

Basil A. Sidorovэтот текст слабо структурированТем не менее он вполне пригоден для программного импорта в БД. Более того - он достаточно структурирован для того, чтобы подобный импорт был несложен. И, полагаю, достаточно несложно формализуется. А если ещё порулить возможностью настройки формата, так и вовсе шоколадно... хотя если делать долговременный инструмент, лучше ориентировать его на формат по умолчанию.
...
Рейтинг: 0 / 0
обработка лога tomcat
    #39621872
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AkinaТем не менее он вполне пригоден для программного импорта в БД.В БД можно разные вещи импортировать.
Но можно не значит - нужно.Более того - он достаточно структурирован для того, чтобы подобный импорт был несложен. И, полагаю, достаточно несложно формализуется."Предположение - мать всех провалов".
По умолчанию котяра использует J(ava)U(til)L(ogging).
А это не просто одна из корявых частей JavaSE - для создания нового формата требуется код.
Хотя, извр эстеты могут задействовать XML-формат. Тогда, наверное, простым DTD обойдёмся. Если найдём утилиту, которая поможет нам его создать.А если ещё порулить возможностью настройки формата, так и вовсе шоколадно... хотя если делать долговременный инструмент, лучше ориентировать его на формат по умолчанию.Охохонюшки ...
Вот включу я отладку приложения и будет вам набегать гигабайт логов часа за полтора.
Oracle Exadata поставим, чтобы загрузить всё это, не внося дополнительных тормозов или просто TimesTen обойдёмся?
А сколько мы потом запросы будем создавать и отлаживать? Планы исполнения оптимизировать?

P.S. "Лог Tomcat" это не тоже самое, что "access log" того же котяры.
...
Рейтинг: 0 / 0
обработка лога tomcat
    #39621941
NewIvanovec
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AkinaNewIvanovecчтобы там обработать.Вот отсюда - поподробнее. Какого рода обработка нужна?
И какой объём логов предполагается к конвертации для последующего анализа?

Обработать это значит строки из лога загрузить в БД, сохраняя в БД структуру данного лога. Например, в логе 3 поля, значит в и БД одна строка лога будет содержаться в 3-х полях.
Если лог будет храниться в БД, то открываются возможности для работы с этой информацией: уведомления, анализа, экспорта

за последние несколько лет в архиве 1.5гига текстовых логов. но в архиве все логи и все строки, а загружать в БД планируется не все логи и не все строки нужных логов
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Программирование [игнор отключен] [закрыт для гостей] / обработка лога tomcat
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]