|
|
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Подскажите, кто знает, есть ли такие решения: Сейчас есть приложение, которое работает с Ораклом (Есть 11и и 12и версии). В данный момент, на различных процессах, можно включать детальное логирование данных процессов. Данные пишутся на сервер, и потом через FTP можно эти логи почитать, и поразбираться в проблемах - пару часов, ну или дней. :) И таких приложений несколько с разными базами. Появилась идея, все это, обработку логов, централизовать, и как оказалось идея уже не новая, и есть различные готовые решения. Один из расспространенных это ELK. Ну а теперь вопрос: Кто уже реализовывал похожую задачу, подскажите как реализовали шаг со считыванием логов с сервера на котором стоит Oracle ? По рекомендациям от elk Обычно ставят filebeat Плюсы: логи доступны в онлайн Минус: он жрет процесс у сервера, что вообще не очень хорошо, так как выбить доп ресурсы будет очень тяжело, для таких как бы не супер важных целей. Есть вариант, запустить джобик с другого сервака, который будет через какой-нить ПО ходить в нужную директорию и считывать файлы. Плюсы: нагрузка только на сеть и диск Минус: Не онлайн доступность данных из логов Ну и теперь вопрос: Есть ли у Оракла, или может кто-то сам такое делал, аналог syslog'a Т.е. на уровне процедуры, вместо записи данных в лог, я вызываю процедуру, которая сразу шлет эти данные на другой сервак(Также по UDP допустим) ? Ну или меня вообще не в ту степь поперло и есть другие решения? Подскажите что почитать или куда копать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2018, 14:58 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Если речь идет о логах на стороне сервера, то (nix) в syslog можно направить ~все что угодно. Но syslog тоже "жрет процесс" :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.06.2018, 15:04 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
речь идет о трассировке пользовательских оракловых сессий? для этого в сети где-то был pl/sql код - все делается удаленно, на сервер доступа не надо. только в БД. если о логах посторонних процессов, то причем здесь оракл? можно в сторону шар самбы посмотреть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 02:23 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
х.з.речь идет о трассировке пользовательских оракловых сессий? для этого в сети где-то был pl/sql код - все делается удаленно, на сервер доступа не надо. только в БД. если о логах посторонних процессов, то причем здесь оракл? можно в сторону шар самбы посмотреть. Речь идет о логах разработчиков, которые пишем в файлики через STDIO.PUT_LINE. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 08:42 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
dimyaz, dimyaz STDIO.PUT_LINE. ЦФТшный вариант pl/sql? Если место позволяет - настроить rsync для переброса логов на другую железку и там уже спокойно filebeat прикрутить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 09:08 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Какая разница rsync или filebeat? Filebeat - это фактически Код: plsql 1. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:13 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
envdimyaz, dimyaz STDIO.PUT_LINE. ЦФТшный вариант pl/sql? Если место позволяет - настроить rsync для переброса логов на другую железку и там уже спокойно filebeat прикрутить. авторЕсли место позволяет - это что вы имеете ввиду? По rsync надо много места? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:13 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
landyКакая разница rsync или filebeat? разница в хосте выполнения tail и запихивания в elastic, больше ни в чём ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:20 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Озорнитка, rsync - предполагает копирование файлов. Вся суть предложения с ним - автоматом перебрасывать новые/изменившиеся файлы логов на другую железку и там уже спокойно заталкивать их в elastic. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:22 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Суть filebeat переслать файл на порт в logstash(на другом хосте), разобрать в logstash(это уже другой хост) и засунуть в elastic rsync точно так же порождает процессы на хосте, открывает файл и передает Зачем лишняя сущность? Или rsync не использует процессор хоста? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:41 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
envОзорнитка, rsync - предполагает копирование файлов. Вся суть предложения с ним - автоматом перебрасывать новые/изменившиеся файлы логов на другую железку и там уже спокойно заталкивать их в elastic. Спасибо, сейчас поизучаю. Т.е. логика получается такая, что я так же продолжаю писать логи в свои файлики, а на уровне ос rsync как триггер все изменения в этих директориях, высылает на другую железку ? Ок. А вариант, что вместо STDIO.PUT_LINE, аля Utl_File.Put_Line, вместо отправки данных в файл, данные будут лететь сразу на другой сервак или приложуху, не реализуемый? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:42 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Есть вариант, запустить джобик с другого сервака, который будет через какой-нить ПО ходить в нужную директорию и считывать файлы. Плюсы: нагрузка только на сеть и диск Классный вариант - соединяем все через сеть и процессоры не нужны ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:44 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
авторпродолжаю писать логи в свои файлики, а на уровне ос rsync поставь filebeat - он будет нагружать не больше, чем rsync ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:46 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
dimyazА вариант, что вместо STDIO.PUT_LINE, аля Utl_File.Put_Line, вместо отправки данных в файл, данные будут лететь сразу на другой сервак или приложуху, не реализуемый? Реализуемый, но тут возникают заморочки с samba/nfs, которые могут "на ровном месте" нарушить работу хоста. Или нужна достаточно умная полка, которая умеет одновременно предоставлять доступ к одному разделу разным хостам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:49 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
landy, landyЗачем лишняя сущность? Или rsync не использует процессор хоста? rsync проще "продать" *nix админам, если у них нет опыта с эластиком. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 11:53 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Не нужно ничего "продавать" - просто поставить filebeat, задать маску логов и указать порт куда лить Если не хотите ничего ставить - можно обращаться к этим логам, как к external tables А в ELK есть возможность коннектится к БД по JDBC периодически(а-ля cron) - забираете логи и укладываете в elastic ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 12:00 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
landyпросто поставить filebeat В вашей реальности каждый имеет рутовый доступ к продакшн окружению? Увы, в реальности часто приходится "продавать" установку любого приложения, т.к. геморрой по его обслуживанию, мониторингу, обеспечению совместимости с имеющимися версиями либ других пакетов и т.п. ложатся на админов и отдел эксплуатации. И им этот геморрой совершенно не нужен. А "продать" использование стабильной, понятной, входящей обычно в состав ОС утилиты - гораздо проще. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 13:00 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
landyЕсли не хотите ничего ставить - можно обращаться к этим логам, как к external tables А в ELK есть возможность коннектится к БД по JDBC периодически(а-ля cron) - забираете логи и укладываете в elastic Здравая мысль. Если имена файлов не меняются и разрешены объекты не входящие в состав схемы данных приложения. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 13:05 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
envlandyЕсли не хотите ничего ставить - можно обращаться к этим логам, как к external tables А в ELK есть возможность коннектится к БД по JDBC периодически(а-ля cron) - забираете логи и укладываете в elastic Здравая мысль. Если имена файлов не меняются и разрешены объекты не входящие в состав схемы данных приложения. Имена файлов как раз меняются, в шапке привязка к дате идет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 13:12 |
|
||
|
Считывание логов
|
|||
|---|---|---|---|
|
#18+
Ключевое Появилась идея, все это, обработку логов, централизовать Т е идете к вышестоящему с предложением и описываете ему Если овчинка стоит выделки админы должны будут заниматься этим - иначе зачем они нужны? Зарплату получать? Если это просто так для себя - то ясно, что они этим заниматься не будут ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.06.2018, 13:30 |
|
||
|
|

start [/forum/topic.php?fid=52&msg=39663473&tid=1883824]: |
0ms |
get settings: |
7ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
146ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
| others: | 207ms |
| total: | 449ms |

| 0 / 0 |
