|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
Хочу содержимое лог файла tomcat закинуть в БД чтобы там обработать. Логически понятно, что в логе 3 поля - дата, уровень сообщения (Info, error и т.д) и текст сообщения. какими программами этот лог можно обработать: например, logparser не берёт этот лог :( и все 3 поля рассматривает как будто это одно поле OS Windows ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2018, 16:44 |
|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
Не делайте себе странного ... "Лог есть есть" и этот текст слабо структурирован. Используйте то, что доктор прописал - grep & Co. А для отслеживания метрик существует JMX . P.S. Формат лога настраивает тот, кто его читает. В нормальной ситуации логи читает админ системы, а нормальный админ "разбирает" логи специализированными утилитами. СУБД в этот комплект не входит. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2018, 17:51 |
|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
Basil A. Sidorov"Лог есть есть текст " ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2018, 17:52 |
|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
Basil A. SidorovНе делайте себе странного ... Используйте то, что доктор прописал - grep & Co. Спасибо, понял. grep это аналог Powershell. Значит создавать разбор лога самому ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2018, 11:09 |
|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
МощнаяТочка это такой язык программирования, который пытается пролезть во все щели. grep - одна из многих утилит поиска в тексте по образцу, включая шаблоны- регулярные выражения . ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2018, 11:17 |
|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
NewIvanovecчтобы там обработать.Вот отсюда - поподробнее. Какого рода обработка нужна? И какой объём логов предполагается к конвертации для последующего анализа? Basil A. Sidorovэтот текст слабо структурированТем не менее он вполне пригоден для программного импорта в БД. Более того - он достаточно структурирован для того, чтобы подобный импорт был несложен. И, полагаю, достаточно несложно формализуется. А если ещё порулить возможностью настройки формата, так и вовсе шоколадно... хотя если делать долговременный инструмент, лучше ориентировать его на формат по умолчанию. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2018, 11:24 |
|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
AkinaТем не менее он вполне пригоден для программного импорта в БД.В БД можно разные вещи импортировать. Но можно не значит - нужно.Более того - он достаточно структурирован для того, чтобы подобный импорт был несложен. И, полагаю, достаточно несложно формализуется."Предположение - мать всех провалов". По умолчанию котяра использует J(ava)U(til)L(ogging). А это не просто одна из корявых частей JavaSE - для создания нового формата требуется код. Хотя, извр эстеты могут задействовать XML-формат. Тогда, наверное, простым DTD обойдёмся. Если найдём утилиту, которая поможет нам его создать.А если ещё порулить возможностью настройки формата, так и вовсе шоколадно... хотя если делать долговременный инструмент, лучше ориентировать его на формат по умолчанию.Охохонюшки ... Вот включу я отладку приложения и будет вам набегать гигабайт логов часа за полтора. Oracle Exadata поставим, чтобы загрузить всё это, не внося дополнительных тормозов или просто TimesTen обойдёмся? А сколько мы потом запросы будем создавать и отлаживать? Планы исполнения оптимизировать? P.S. "Лог Tomcat" это не тоже самое, что "access log" того же котяры. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2018, 11:35 |
|
обработка лога tomcat
|
|||
---|---|---|---|
#18+
AkinaNewIvanovecчтобы там обработать.Вот отсюда - поподробнее. Какого рода обработка нужна? И какой объём логов предполагается к конвертации для последующего анализа? Обработать это значит строки из лога загрузить в БД, сохраняя в БД структуру данного лога. Например, в логе 3 поля, значит в и БД одна строка лога будет содержаться в 3-х полях. Если лог будет храниться в БД, то открываются возможности для работы с этой информацией: уведомления, анализа, экспорта за последние несколько лет в архиве 1.5гига текстовых логов. но в архиве все логи и все строки, а загружать в БД планируется не все логи и не все строки нужных логов ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2018, 12:33 |
|
|
start [/forum/topic.php?fid=16&gotonew=1&tid=1340146]: |
0ms |
get settings: |
11ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
29ms |
get topic data: |
10ms |
get first new msg: |
6ms |
get forum data: |
2ms |
get page messages: |
49ms |
get tp. blocked users: |
2ms |
others: | 13ms |
total: | 143ms |
0 / 0 |