Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Считывание логов / 20 сообщений из 20, страница 1 из 1
20.06.2018, 14:58
    #39663079
dimyaz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Подскажите, кто знает, есть ли такие решения:
Сейчас есть приложение, которое работает с Ораклом (Есть 11и и 12и версии).
В данный момент, на различных процессах, можно включать детальное логирование данных процессов. Данные пишутся на сервер, и потом через FTP можно эти логи почитать, и поразбираться в проблемах - пару часов, ну или дней. :)

И таких приложений несколько с разными базами.

Появилась идея, все это, обработку логов, централизовать, и как оказалось идея уже не новая, и есть различные готовые решения.
Один из расспространенных это ELK.

Ну а теперь вопрос:
Кто уже реализовывал похожую задачу, подскажите как реализовали шаг со считыванием логов с сервера на котором стоит Oracle ?

По рекомендациям от elk Обычно ставят filebeat
Плюсы: логи доступны в онлайн
Минус: он жрет процесс у сервера, что вообще не очень хорошо, так как выбить доп ресурсы будет очень тяжело, для таких как бы не супер важных целей.

Есть вариант, запустить джобик с другого сервака, который будет через какой-нить ПО ходить в нужную директорию и считывать файлы.
Плюсы: нагрузка только на сеть и диск
Минус: Не онлайн доступность данных из логов

Ну и теперь вопрос:
Есть ли у Оракла, или может кто-то сам такое делал, аналог syslog'a
Т.е. на уровне процедуры, вместо записи данных в лог, я вызываю процедуру, которая сразу шлет эти данные на другой сервак(Также по UDP допустим) ?

Ну или меня вообще не в ту степь поперло и есть другие решения? Подскажите что почитать или куда копать?
...
Рейтинг: 0 / 0
20.06.2018, 15:04
    #39663090
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Если речь идет о логах на стороне сервера, то (nix) в syslog можно направить ~все что угодно.
Но syslog тоже "жрет процесс" :)
...
Рейтинг: 0 / 0
21.06.2018, 02:23
    #39663339
х.з.
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
речь идет о трассировке пользовательских оракловых сессий? для этого в сети где-то был pl/sql код - все делается удаленно, на сервер доступа не надо. только в БД.

если о логах посторонних процессов, то причем здесь оракл?

можно в сторону шар самбы посмотреть.
...
Рейтинг: 0 / 0
21.06.2018, 08:42
    #39663371
dimyaz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
х.з.речь идет о трассировке пользовательских оракловых сессий? для этого в сети где-то был pl/sql код - все делается удаленно, на сервер доступа не надо. только в БД.

если о логах посторонних процессов, то причем здесь оракл?

можно в сторону шар самбы посмотреть.

Речь идет о логах разработчиков, которые пишем в файлики через STDIO.PUT_LINE.
...
Рейтинг: 0 / 0
21.06.2018, 09:08
    #39663380
env
env
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
dimyaz,


dimyaz STDIO.PUT_LINE.
ЦФТшный вариант pl/sql?

Если место позволяет - настроить rsync для переброса логов на другую железку и там уже спокойно filebeat прикрутить.
...
Рейтинг: 0 / 0
21.06.2018, 11:13
    #39663465
landy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Какая разница rsync или filebeat?
Filebeat - это фактически
Код: plsql
1.
tail -f loggfile.log | ncat  ... 
...
Рейтинг: 0 / 0
21.06.2018, 11:13
    #39663466
dimyaz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
envdimyaz,


dimyaz STDIO.PUT_LINE.
ЦФТшный вариант pl/sql?

Если место позволяет - настроить rsync для переброса логов на другую железку и там уже спокойно filebeat прикрутить.

авторЕсли место позволяет - это что вы имеете ввиду? По rsync надо много места?
...
Рейтинг: 0 / 0
21.06.2018, 11:20
    #39663472
env
env
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
landyКакая разница rsync или filebeat?
разница в хосте выполнения tail и запихивания в elastic, больше ни в чём
...
Рейтинг: 0 / 0
21.06.2018, 11:22
    #39663473
env
env
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Озорнитка,

rsync - предполагает копирование файлов. Вся суть предложения с ним - автоматом перебрасывать новые/изменившиеся файлы логов на другую железку и там уже спокойно заталкивать их в elastic.
...
Рейтинг: 0 / 0
21.06.2018, 11:41
    #39663493
landy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Суть filebeat переслать файл на порт в logstash(на другом хосте), разобрать в logstash(это уже другой хост) и засунуть в elastic
rsync точно так же порождает процессы на хосте, открывает файл и передает
Зачем лишняя сущность? Или rsync не использует процессор хоста?
...
Рейтинг: 0 / 0
21.06.2018, 11:42
    #39663494
dimyaz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
envОзорнитка,

rsync - предполагает копирование файлов. Вся суть предложения с ним - автоматом перебрасывать новые/изменившиеся файлы логов на другую железку и там уже спокойно заталкивать их в elastic.

Спасибо, сейчас поизучаю.
Т.е. логика получается такая, что я так же продолжаю писать логи в свои файлики, а на уровне ос rsync как триггер все изменения в этих директориях, высылает на другую железку ?
Ок.

А вариант, что вместо STDIO.PUT_LINE, аля Utl_File.Put_Line, вместо отправки данных в файл, данные будут лететь сразу на другой сервак или приложуху, не реализуемый?
...
Рейтинг: 0 / 0
21.06.2018, 11:44
    #39663498
landy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Есть вариант, запустить джобик с другого сервака, который будет через какой-нить ПО ходить в нужную директорию и считывать файлы.
Плюсы: нагрузка только на сеть и диск


Классный вариант - соединяем все через сеть и процессоры не нужны )))
...
Рейтинг: 0 / 0
21.06.2018, 11:46
    #39663501
landy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
авторпродолжаю писать логи в свои файлики, а на уровне ос rsync
поставь filebeat - он будет нагружать не больше, чем rsync
...
Рейтинг: 0 / 0
21.06.2018, 11:49
    #39663506
env
env
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
dimyazА вариант, что вместо STDIO.PUT_LINE, аля Utl_File.Put_Line, вместо отправки данных в файл, данные будут лететь сразу на другой сервак или приложуху, не реализуемый?

Реализуемый, но тут возникают заморочки с samba/nfs, которые могут "на ровном месте" нарушить работу хоста.
Или нужна достаточно умная полка, которая умеет одновременно предоставлять доступ к одному разделу разным хостам.
...
Рейтинг: 0 / 0
21.06.2018, 11:53
    #39663508
env
env
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
landy,

landyЗачем лишняя сущность? Или rsync не использует процессор хоста?
rsync проще "продать" *nix админам, если у них нет опыта с эластиком.
...
Рейтинг: 0 / 0
21.06.2018, 12:00
    #39663517
landy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Не нужно ничего "продавать" - просто поставить filebeat, задать маску логов и указать порт куда лить
Если не хотите ничего ставить - можно обращаться к этим логам, как к external tables
А в ELK есть возможность коннектится к БД по JDBC периодически(а-ля cron) - забираете логи и укладываете в elastic
...
Рейтинг: 0 / 0
21.06.2018, 13:00
    #39663579
env
env
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
landyпросто поставить filebeat
В вашей реальности каждый имеет рутовый доступ к продакшн окружению?
Увы, в реальности часто приходится "продавать" установку любого приложения, т.к. геморрой по его обслуживанию, мониторингу, обеспечению совместимости с имеющимися версиями либ других пакетов и т.п. ложатся на админов и отдел эксплуатации.

И им этот геморрой совершенно не нужен. А "продать" использование стабильной, понятной, входящей обычно в состав ОС утилиты - гораздо проще.
...
Рейтинг: 0 / 0
21.06.2018, 13:05
    #39663585
env
env
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
landyЕсли не хотите ничего ставить - можно обращаться к этим логам, как к external tables
А в ELK есть возможность коннектится к БД по JDBC периодически(а-ля cron) - забираете логи и укладываете в elastic

Здравая мысль. Если имена файлов не меняются и разрешены объекты не входящие в состав схемы данных приложения.
...
Рейтинг: 0 / 0
21.06.2018, 13:12
    #39663594
dimyaz
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
envlandyЕсли не хотите ничего ставить - можно обращаться к этим логам, как к external tables
А в ELK есть возможность коннектится к БД по JDBC периодически(а-ля cron) - забираете логи и укладываете в elastic

Здравая мысль. Если имена файлов не меняются и разрешены объекты не входящие в состав схемы данных приложения.

Имена файлов как раз меняются, в шапке привязка к дате идет.
...
Рейтинг: 0 / 0
21.06.2018, 13:30
    #39663612
landy
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Считывание логов
Ключевое
Появилась идея, все это, обработку логов, централизовать
Т е идете к вышестоящему с предложением и описываете ему
Если овчинка стоит выделки админы должны будут заниматься этим - иначе зачем они нужны? Зарплату получать?
Если это просто так для себя - то ясно, что они этим заниматься не будут
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Считывание логов / 20 сообщений из 20, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]