Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
23.11.2021, 15:57
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
Приветствую! Подскажите, как перенаправить логи приложения посредством log4j на clickhouse. Пробовал через mysql и pgsql протоколы. В локальные БД MySql и PostgreSQL записи пишутся нормально, а в Clickhouse не хотят писаться. Настройки делал согласно описанию JDBCAppender через ConnectionFactory. Ни в какую не лезут ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 16:29
|
|||
---|---|---|---|
Log4j + clickhouse |
|||
#18+
Покажи свой конфиг. Особенно ignoreExceptions. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 17:02
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
mayton, На самом деле ignoreException не использовал, так как делал по инструкции с сайта log4j2.xml Код: html 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15.
Ошибка, которая выдается при запуске программы: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53.
... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 17:21
|
|||
---|---|---|---|
Log4j + clickhouse |
|||
#18+
Ничего не понятно. А эта mysql база вообще доступна на запись? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:09
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
Это результат попытки записи в ClickHouse по MySQL интерфейсу. Если писать с этими параметрами в реальную MySQL базу, то все пишется без проблем. Такая же картина, если пробовать записать в ClickHouse через PostgreSQL интерфейс: в реальную PostgreSQL базу все пишется без ошибок, а в ClickHouse через предоставленный интерфейс - ошибка ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:27
|
|||
---|---|---|---|
Log4j + clickhouse |
|||
#18+
А почему ты решил что к ClickHouse можно подключатся используя MySQL драйвер? Есть где-то на сайте производителя туториал о том что так можно? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:41
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
mayton А почему ты решил что к ClickHouse можно подключатся используя MySQL драйвер? Есть где-то на сайте производителя туториал о том что так можно? Вроде бы тут ...но это интерфейсы...даже вроде есть JDBC интерфейс. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:43
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
qi_ip, 1) по архитектуре бд не подходит для логирования ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:43
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
qi_ip, 2) сам инсерти в бд и потестируй ее. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:46
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
PetroNotC Sharp qi_ip, 2) сам инсерти в бд и потестируй ее. Через sql клиент к ClickHouse работает через mysql драйвер....а вот именно связка log4j2 + clickhouse (mysql, pgsql драйвера) не работает (( Поэтому тут спросил, может у кого был опыт. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:47
|
|||
---|---|---|---|
Log4j + clickhouse |
|||
#18+
qi_ip mayton А почему ты решил что к ClickHouse можно подключатся используя MySQL драйвер? Есть где-то на сайте производителя туториал о том что так можно? Вроде бы тут ...но это интерфейсы...даже вроде есть JDBC интерфейс. Попробуй вот этот драйвер https://github.com/ClickHouse/clickhouse-jdbc И кстати Петро прав. Колончато-ориентированные DBMS обычно не умеют инсертить 1 строку. Они грузят пачками или стримят (с буферизацией естественно). ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:48
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
PetroNotC Sharp qi_ip, 1) по архитектуре бд не подходит для логирования Подскажите, пожалуйста, какая связка лучше с log4j2 для консолидации логов. До этого момента юзал только сохранение в файлы на диске. Теперь вот возникла необходимость консолидировать. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:51
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
mayton qi_ip Попробуй вот этот драйвер https://github.com/ClickHouse/clickhouse-jdbc И кстати Петро прав. Колончато-ориентированные DBMS обычно не умеют инсертить 1 строку. Они грузят пачками или стримят (с буферизацией естественно). Пробовал..проблема как подогнать к ConnectionFactory. Вроде бы передаю datasource, но он его не принимает Код: java 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24.
... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:54
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
qi_ip, Админская задача же. 40 машин и нет админа? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 19:56
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
PetroNotC Sharp qi_ip, Админская задача же. 40 машин и нет админа? Вот он и предложил clickhouse...я пока на стадии исследования, насколько это подходит для логирования ))) Ну, машин пока не 40, раз в 10 меньше ) ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 20:00
|
|||
---|---|---|---|
Log4j + clickhouse |
|||
#18+
qi_ip Подскажите, пожалуйста, какая связка лучше с log4j2 для консолидации логов. Расскажи что такое консолидация? Нет. я конечно могу сам предположить какой тут смысл. Но мне кажется что есть нюансы. А также различные SLA. Как быстро консолидированный лог должен быть доступен для поиска например. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 20:07
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
mayton qi_ip Подскажите, пожалуйста, какая связка лучше с log4j2 для консолидации логов. Расскажи что такое консолидация? Нет. я конечно могу сам предположить какой тут смысл. Но мне кажется что есть нюансы. А также различные SLA. Как быстро консолидированный лог должен быть доступен для поиска например. В моем случае, под консолидацией, я подразумеваю следующее: Есть три сервера. На каждом сервере есть приложение у которого логи с помощью Log4j2 пишутся в три разных файла: один основной, второй чисто данные по запрос-ответ, третий-статистические данные. То есть full.log, request.log, statistic.log То есть по факту, в случае необходимости, для поиска проблемы нужно будет просмотреть 9 файлов на трех серверах. Если это все слить в одну БД/хранилище, то теоретически, поиск нужных данных будет происходить быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 20:14
|
|||
---|---|---|---|
Log4j + clickhouse |
|||
#18+
Я понял. Как по мне - дорогое и ненадёжное решение. Для логов что важно. Анализ инцедентов. А если инцедент - отказ БД и при этом лог надо писать в эту-же БД то мы получаем такое себе дедлок. Или парадокс реализации. Стоимость владения БД всегда дороже чем файловой системой. Положите туда 1 терабайт табличных пространств - и уже плохо. Хрен почистишь. В файловой системе всяко легче. Вобщем в пирамиде надежности файловая система стоит поближе к Java-процессу. А вы - попробуйте синхронизировать все логи на сетевое хранилище через rsync. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 20:18
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
qi_ip, Веб приложение не должно слать по сети логи. Это же очевидно. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 20:21
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
mayton Я понял. Как по мне - дорогое и ненадёжное решение. Для логов что важно. Анализ инцедентов. А если инцедент - отказ БД и при этом лог надо писать в эту-же БД то мы получаем такое себе дедлок. Или парадокс реализации. Стоимость владения БД всегда дороже чем файловой системой. Положите туда 1 терабайт табличных пространств - и уже плохо. Хрен почистишь. В файловой системе всяко легче. Вобщем в пирамиде надежности файловая система стоит поближе к Java-процессу. А вы - попробуйте синхронизировать все логи на сетевое хранилище через rsync. Почитаю про это...спасибо большое за советы )) ... |
|||
:
Нравится:
Не нравится:
|
|||
|
23.11.2021, 20:22
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
PetroNotC Sharp Благодарю, тоже изучу эту тему ... |
|||
:
Нравится:
Не нравится:
|
|||
|
24.11.2021, 04:59
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
mayton Колончато-ориентированные DBMS обычно не умеют инсертить 1 строку. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
24.11.2021, 05:02
|
|||
---|---|---|---|
|
|||
Log4j + clickhouse |
|||
#18+
PetroNotC Sharp 1) по архитектуре бд не подходит для логирования Это же очевидно, что СУБД ClickHouse не подходит именно для той задачи, для которой её делали. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=59&tablet=1&tid=2120302]: |
0ms |
get settings: |
18ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
26ms |
get topic data: |
4ms |
get forum data: |
1ms |
get page messages: |
422ms |
get tp. blocked users: |
1ms |
others: | 283ms |
total: | 762ms |
0 / 0 |