Log4j + clickhouse / Java

ReSQL.ru

Мобильная версия Контакт Правила FAQ Помощь

Гость

Войти | Регистрация | Профиль | Очистить

Новые сообщения | Избранное

Форумы | Пользователи | Статистика | Мод. лог | Поиск

Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр

Форумы / Java [игнор отключен] [закрыт для гостей] / Log4j + clickhouse

25 сообщений из 34, страница 1 из 2

все

Log4j + clickhouse

#40114209

qi_ip

Гость

Приветствую! Подскажите, как перенаправить логи приложения посредством log4j на clickhouse.
Пробовал через mysql и pgsql протоколы. В локальные БД MySql и PostgreSQL записи пишутся нормально, а в Clickhouse не хотят писаться.

Настройки делал согласно описанию JDBCAppender через ConnectionFactory. Ни в какую не лезут

...

Рейтинг:

0 / 0

23.11.2021, 15:57

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114215

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

Покажи свой конфиг. Особенно ignoreExceptions.

...

Рейтинг:

0 / 0

23.11.2021, 16:29

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114232

qi_ip

Гость

mayton,

На самом деле ignoreException не использовал, так как делал по инструкции с сайта

log4j2.xml

Код: html

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.

<?xml version="1.0" encoding="UTF-8"?>
<Configuration status="trace">
    <Appenders>
        <JDBC name="databaseAppender" tableName="requests">
            <ConnectionFactory class="request.ConnectionFactory" method="getDatabaseConnection"/>
            <Column name="log_date" isEventTimestamp="true"/>
            <Column name="body" pattern="%message" isUnicode="false"/>
        </JDBC>
    </Appenders>
    <Loggers>
        <Root level="trace">
            <AppenderRef ref="databaseAppender"/>
        </Root>
    </Loggers>
</Configuration>

Ошибка, которая выдается при запуске программы:

Код: sql

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.

2021-11-23 19:00:47,759 main ERROR Unable to write to database [JdbcManager{name=databaseAppender, bufferSize=0, tableName=requests, columnConfigs=[{ name=log_date, layout=null, literal=null, timestamp=true }, { name=body, layout=%message, literal=null, timestamp=false }], columnMappings=[]}] for appender [databaseAppender]. org.apache.logging.log4j.core.appender.db.DbAppenderLoggingException: Failed to commit transaction logging event or flushing buffer [columnConfigs=[{ name=log_date, layout=null, literal=null, timestamp=true }, { name=body, layout=%message, literal=null, timestamp=false }], sqlStatement=insert into requests (log_date,body) values (?,?), factoryData=FactoryData [connectionSource=factory{ public static java.sql.Connection request.ConnectionFactory.getDatabaseConnection() }, tableName=requests, columnConfigs=[{ name=log_date, layout=null, literal=null, timestamp=true }, { name=body, layout=%message, literal=null, timestamp=false }], columnMappings=[], immediateFail=false, retry=true, reconnectIntervalMillis=5000, truncateStrings=true], connection=jdbc:mysql://127.0.0.1:15004/chatserver, UserName=htzsg2, MySQL Connector/J, statement=com.mysql.cj.jdbc.ClientPreparedStatement: insert into requests (log_date,body) values (** NOT SPECIFIED **,** NOT SPECIFIED **), reconnector=null, isBatchSupported=true, columnMetaData={LOG_DATE=ColumnMetaData [schemaName=, catalogName=, tableName=, name=log_date, nameKey=LOG_DATE, label=log_date, displaySize=0, type=1, typeName=CHAR, className=java.lang.String, precision=0, scale=0, isStringType=true], BODY=ColumnMetaData [schemaName=, catalogName=, tableName=, name=body, nameKey=BODY, label=body, displaySize=0, type=1, typeName=CHAR, className=java.lang.String, precision=0, scale=0, isStringType=true]}]
	at org.apache.logging.log4j.core.appender.db.jdbc.JdbcDatabaseManager.commitAndClose(JdbcDatabaseManager.java:564)
	at org.apache.logging.log4j.core.appender.db.jdbc.JdbcDatabaseManager.writeThrough(JdbcDatabaseManager.java:900)
	at org.apache.logging.log4j.core.appender.db.AbstractDatabaseManager.write(AbstractDatabaseManager.java:264)
	at org.apache.logging.log4j.core.appender.db.AbstractDatabaseAppender.append(AbstractDatabaseAppender.java:110)
	at org.apache.logging.log4j.core.config.AppenderControl.tryCallAppender(AppenderControl.java:156)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender0(AppenderControl.java:129)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppenderPreventRecursion(AppenderControl.java:120)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender(AppenderControl.java:84)
	at org.apache.logging.log4j.core.config.LoggerConfig.callAppenders(LoggerConfig.java:540)
	at org.apache.logging.log4j.core.config.LoggerConfig.processLogEvent(LoggerConfig.java:498)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:481)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:410)
	at org.apache.logging.log4j.core.config.AwaitCompletionReliabilityStrategy.log(AwaitCompletionReliabilityStrategy.java:63)
	at org.apache.logging.log4j.core.Logger.logMessage(Logger.java:153)
	at org.apache.log4j.Category.maybeLog(Category.java:512)
	at org.apache.log4j.Category.info(Category.java:294)
	at request.Request.main(Request.java:16)
Caused by: java.sql.SQLException: Code: 62. DB::Exception: Syntax error: failed at position 1 ('commit'): commit. Expected one of: ALTER query, Query with output, ALTER PROFILE, RENAME DATABASE, SHOW PRIVILEGES query, TRUNCATE, KILL, KILL QUERY query, SELECT query, possibly with UNION, list of union elements, ALTER ROLE, SELECT subquery, DESCRIBE query, SELECT query, subquery, possibly with UNION, SHOW GRANTS, SHOW CREATE, CREATE SETTINGS PROFILE or ALTER SETTINGS PROFILE query, WATCH, SHOW PROCESSLIST query, ALTER POLICY, ALTER USER, CREAT
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129)
	at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122)
	at com.mysql.cj.jdbc.ConnectionImpl.commit(ConnectionImpl.java:806)
	at org.apache.commons.dbcp.DelegatingConnection.commit(DelegatingConnection.java:334)
	at org.apache.commons.dbcp.PoolingDataSource$PoolGuardConnectionWrapper.commit(PoolingDataSource.java:211)
	at org.apache.logging.log4j.core.appender.db.jdbc.JdbcDatabaseManager.commitAndClose(JdbcDatabaseManager.java:560)
	... 16 more

2021-11-23 19:00:47,760 main ERROR An exception occurred processing Appender databaseAppender org.apache.logging.log4j.core.appender.db.DbAppenderLoggingException: Failed to commit transaction logging event or flushing buffer [columnConfigs=[{ name=log_date, layout=null, literal=null, timestamp=true }, { name=body, layout=%message, literal=null, timestamp=false }], sqlStatement=insert into requests (log_date,body) values (?,?), factoryData=FactoryData [connectionSource=factory{ public static java.sql.Connection request.ConnectionFactory.getDatabaseConnection() }, tableName=requests, columnConfigs=[{ name=log_date, layout=null, literal=null, timestamp=true }, { name=body, layout=%message, literal=null, timestamp=false }], columnMappings=[], immediateFail=false, retry=true, reconnectIntervalMillis=5000, truncateStrings=true], connection=jdbc:mysql://127.0.0.1:15004/chatserver, UserName=htzsg2, MySQL Connector/J, statement=com.mysql.cj.jdbc.ClientPreparedStatement: insert into requests (log_date,body) values (** NOT SPECIFIED **,** NOT SPECIFIED **), reconnector=null, isBatchSupported=true, columnMetaData={LOG_DATE=ColumnMetaData [schemaName=, catalogName=, tableName=, name=log_date, nameKey=LOG_DATE, label=log_date, displaySize=0, type=1, typeName=CHAR, className=java.lang.String, precision=0, scale=0, isStringType=true], BODY=ColumnMetaData [schemaName=, catalogName=, tableName=, name=body, nameKey=BODY, label=body, displaySize=0, type=1, typeName=CHAR, className=java.lang.String, precision=0, scale=0, isStringType=true]}]
	at org.apache.logging.log4j.core.appender.db.jdbc.JdbcDatabaseManager.commitAndClose(JdbcDatabaseManager.java:564)
	at org.apache.logging.log4j.core.appender.db.jdbc.JdbcDatabaseManager.writeThrough(JdbcDatabaseManager.java:900)
	at org.apache.logging.log4j.core.appender.db.AbstractDatabaseManager.write(AbstractDatabaseManager.java:264)
	at org.apache.logging.log4j.core.appender.db.AbstractDatabaseAppender.append(AbstractDatabaseAppender.java:110)
	at org.apache.logging.log4j.core.config.AppenderControl.tryCallAppender(AppenderControl.java:156)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender0(AppenderControl.java:129)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppenderPreventRecursion(AppenderControl.java:120)
	at org.apache.logging.log4j.core.config.AppenderControl.callAppender(AppenderControl.java:84)
	at org.apache.logging.log4j.core.config.LoggerConfig.callAppenders(LoggerConfig.java:540)
	at org.apache.logging.log4j.core.config.LoggerConfig.processLogEvent(LoggerConfig.java:498)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:481)
	at org.apache.logging.log4j.core.config.LoggerConfig.log(LoggerConfig.java:410)
	at org.apache.logging.log4j.core.config.AwaitCompletionReliabilityStrategy.log(AwaitCompletionReliabilityStrategy.java:63)
	at org.apache.logging.log4j.core.Logger.logMessage(Logger.java:153)
	at org.apache.log4j.Category.maybeLog(Category.java:512)
	at org.apache.log4j.Category.info(Category.java:294)
	at request.Request.main(Request.java:16)
Caused by: java.sql.SQLException: Code: 62. DB::Exception: Syntax error: failed at position 1 ('commit'): commit. Expected one of: ALTER query, Query with output, ALTER PROFILE, RENAME DATABASE, SHOW PRIVILEGES query, TRUNCATE, KILL, KILL QUERY query, SELECT query, possibly with UNION, list of union elements, ALTER ROLE, SELECT subquery, DESCRIBE query, SELECT query, subquery, possibly with UNION, SHOW GRANTS, SHOW CREATE, CREATE SETTINGS PROFILE or ALTER SETTINGS PROFILE query, WATCH, SHOW PROCESSLIST query, ALTER POLICY, ALTER USER, CREAT
	at com.mysql.cj.jdbc.exceptions.SQLError.createSQLException(SQLError.java:129)
	at com.mysql.cj.jdbc.exceptions.SQLExceptionsMapping.translateException(SQLExceptionsMapping.java:122)
	at com.mysql.cj.jdbc.ConnectionImpl.commit(ConnectionImpl.java:806)
	at org.apache.commons.dbcp.DelegatingConnection.commit(DelegatingConnection.java:334)
	at org.apache.commons.dbcp.PoolingDataSource$PoolGuardConnectionWrapper.commit(PoolingDataSource.java:211)
	at org.apache.logging.log4j.core.appender.db.jdbc.JdbcDatabaseManager.commitAndClose(JdbcDatabaseManager.java:560)
	... 16 more

...

Рейтинг:

0 / 0

23.11.2021, 17:02

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114251

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

Ничего не понятно. А эта mysql база вообще доступна на запись?

...

Рейтинг:

0 / 0

23.11.2021, 17:21

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114317

qi_ip

Гость

Это результат попытки записи в ClickHouse по MySQL интерфейсу. Если писать с этими параметрами в реальную MySQL базу, то все пишется без проблем. Такая же картина, если пробовать записать в ClickHouse через PostgreSQL интерфейс: в реальную PostgreSQL базу все пишется без ошибок, а в ClickHouse через предоставленный интерфейс - ошибка

...

Рейтинг:

0 / 0

23.11.2021, 19:09

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114321

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

А почему ты решил что к ClickHouse можно подключатся используя MySQL драйвер?

Есть где-то на сайте производителя туториал о том что так можно?

...

Рейтинг:

0 / 0

23.11.2021, 19:27

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114326

qi_ip

Гость

mayton

Вроде бы тут ...но это интерфейсы...даже вроде есть JDBC интерфейс.

...

Рейтинг:

0 / 0

23.11.2021, 19:41

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114327

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

qi_ip,
1) по архитектуре бд не подходит для логирования

...

Рейтинг:

0 / 0

23.11.2021, 19:43

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114328

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

qi_ip,

2) сам инсерти в бд и потестируй ее.

...

Рейтинг:

0 / 0

23.11.2021, 19:43

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114330

qi_ip

Гость

PetroNotC Sharp

qi_ip,

2) сам инсерти в бд и потестируй ее.

Через sql клиент к ClickHouse работает через mysql драйвер....а вот именно связка log4j2 + clickhouse (mysql, pgsql драйвера) не работает ((
Поэтому тут спросил, может у кого был опыт.

...

Рейтинг:

0 / 0

23.11.2021, 19:46

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114331

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

qi_ip

mayton

Вроде бы тут ...но это интерфейсы...даже вроде есть JDBC интерфейс.

Попробуй вот этот драйвер https://github.com/ClickHouse/clickhouse-jdbc

И кстати Петро прав. Колончато-ориентированные DBMS обычно не умеют инсертить 1 строку.
Они грузят пачками или стримят (с буферизацией естественно).

...

Рейтинг:

0 / 0

23.11.2021, 19:47

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114332

qi_ip

Гость

PetroNotC Sharp

qi_ip,
1) по архитектуре бд не подходит для логирования

Подскажите, пожалуйста, какая связка лучше с log4j2 для консолидации логов. До этого момента юзал только сохранение в файлы на диске. Теперь вот возникла необходимость консолидировать.

...

Рейтинг:

0 / 0

23.11.2021, 19:48

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114333

qi_ip

Гость

mayton

qi_ip

пропущено...

Вроде бы тут ...но это интерфейсы...даже вроде есть JDBC интерфейс.

Пробовал..проблема как подогнать к ConnectionFactory. Вроде бы передаю datasource, но он его не принимает

Код: java

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.

public class ClickhouseFactory {
    private static interface Singleton {
        final ClickhouseFactory INSTANCE = new ClickhouseFactory();
    }
    private final ClickHouseDataSource dataSource;

    private ClickhouseFactory() {
        try {
            Class.forName("ru.yandex.clickhouse.ClickHouseDriver");
        } catch (ClassNotFoundException e) {
            e.printStackTrace();
            System.exit(0);
        }
        ClickHouseProperties properties = new ClickHouseProperties();
        properties.setUser("user");
        properties.setPassword("password");

        this.dataSource = new ClickHouseDataSource("jdbc:clickhouse://localhost:8123/chatserver", properties);
    }

    public static Connection getDatabaseConnection() throws SQLException {
        return Singleton.INSTANCE.dataSource.getConnection();
    }
}

...

Рейтинг:

0 / 0

23.11.2021, 19:51

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114336

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

qi_ip,
Админская задача же.
40 машин и нет админа?

...

Рейтинг:

0 / 0

23.11.2021, 19:54

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114338

qi_ip

Гость

PetroNotC Sharp

qi_ip,
Админская задача же.
40 машин и нет админа?

Вот он и предложил clickhouse...я пока на стадии исследования, насколько это подходит для логирования ))) Ну, машин пока не 40, раз в 10 меньше )

...

Рейтинг:

0 / 0

23.11.2021, 19:56

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114341

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

qi_ip

Подскажите, пожалуйста, какая связка лучше с log4j2 для консолидации логов.

Расскажи что такое консолидация? Нет. я конечно могу сам предположить какой тут смысл. Но мне
кажется что есть нюансы. А также различные SLA. Как быстро консолидированный лог должен
быть доступен для поиска например.

...

Рейтинг:

0 / 0

23.11.2021, 20:00

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114343

qi_ip

Гость

mayton

qi_ip

Подскажите, пожалуйста, какая связка лучше с log4j2 для консолидации логов.

В моем случае, под консолидацией, я подразумеваю следующее:
Есть три сервера. На каждом сервере есть приложение у которого логи с помощью Log4j2 пишутся в три разных файла: один основной, второй чисто данные по запрос-ответ, третий-статистические данные. То есть full.log, request.log, statistic.log
То есть по факту, в случае необходимости, для поиска проблемы нужно будет просмотреть 9 файлов на трех серверах.
Если это все слить в одну БД/хранилище, то теоретически, поиск нужных данных будет происходить быстрее.

...

Рейтинг:

0 / 0

23.11.2021, 20:07

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114348

mayton

Участник

Откуда: loopback

Сообщения: 53 422

Рейтинг: 0 / 0

Я понял. Как по мне - дорогое и ненадёжное решение. Для логов что важно.
Анализ инцедентов. А если инцедент - отказ БД и при этом лог надо писать
в эту-же БД то мы получаем такое себе дедлок. Или парадокс реализации.

Стоимость владения БД всегда дороже чем файловой системой. Положите туда 1 терабайт
табличных пространств - и уже плохо. Хрен почистишь. В файловой системе всяко легче.

Вобщем в пирамиде надежности файловая система стоит поближе к Java-процессу.

А вы - попробуйте синхронизировать все логи на сетевое хранилище через rsync.

...

Рейтинг:

0 / 0

23.11.2021, 20:14

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114350

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

qi_ip,

https://www.linux-magazine.com/Online/Features/Consolidating-Logs-with-Logstash

...

Рейтинг:

0 / 0

23.11.2021, 20:16

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114352

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

qi_ip,

Веб приложение не должно слать по сети логи. Это же очевидно.

...

Рейтинг:

0 / 0

23.11.2021, 20:18

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114354

qi_ip

Гость

mayton

Почитаю про это...спасибо большое за советы ))

...

Рейтинг:

0 / 0

23.11.2021, 20:21

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114355

qi_ip

Гость

PetroNotC Sharp

qi_ip,

https://www.linux-magazine.com/Online/Features/Consolidating-Logs-with-Logstash

Благодарю, тоже изучу эту тему

...

Рейтинг:

0 / 0

23.11.2021, 20:22

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114409

Basil A. Sidorov

Участник

Сообщения: 11 633

Рейтинг: 0 / 0

mayton

Колончато-ориентированные DBMS обычно не умеют инсертить 1 строку.

Можно, конечно, догадаться, что на самом деле вы хотели сказать, но если формулировать утверждения так, чтобы не приходилось додумывать - будет гораздо гораздее.

...

Рейтинг:

0 / 0

24.11.2021, 04:59

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114410

Basil A. Sidorov

Участник

Сообщения: 11 633

Рейтинг: 0 / 0

PetroNotC Sharp

1) по архитектуре бд не подходит для логирования

"вы тут самые умные? Вам это кто-то сказал или вы сами так решили?" (ц)
Это же очевидно, что СУБД ClickHouse не подходит именно для той задачи, для которой её делали.

...

Рейтинг:

0 / 0

24.11.2021, 05:02

| Ответить | Цитировать | Написать

Log4j + clickhouse

#40114415

PetroNotC Sharp

Участник

Сообщения: 10 098

Рейтинг: 0 / 0

Basil A. Sidorov,
)))) ну дак выскажись. Ее разве делали для логирования?
Я вот прочитал инфу что для слабоструктуированных данных.
А вы что прочитали?
Колись)

...

Рейтинг:

0 / 0

24.11.2021, 06:49

| Ответить | Цитировать | Написать

25 сообщений из 34, страница 1 из 2

все

Форумы / Java [игнор отключен] [закрыт для гостей] / Log4j + clickhouse

Цитировать

Написать

Автор*:

Ввести пароль для входа

Тема*:

Сообщение

Данное сообщение тематическое

Сообщение содержит картинки или видео 18+

Автор:

ВНИМАНИЕ! На данном подфоруме действуют строгие правила. Удостоверьтесь, что ваше сообщение соответствует им!

Форум или тема закрыты для гостей. Необходима авторизация!

Загрузить последнюю сохраненную версию

Вложение:

Вставить как галерею

Максимальный размер вложений: 4,0 МБ, аудио/видео: 8,0 МБ. Картинки большего размера ужимаются, если возможно.

Введите код, изображенный на картинке. Если код нечитаемый, кликните картинку, чтобы загрузить другой вариант.

Отправляя сообщение, я выражаю свое согласие с правилами форума и принимаю пользовательское соглашение.

Читали тему (0):

Читали форум (0):

Пользователи онлайн (0):

start [/forum/topic.php?fid=59&msg=40114333&tid=2120302]:	0ms
get settings:	22ms
get forum list:	14ms
check forum access:	5ms
check topic access:	5ms
track hit:	46ms
get topic data:	10ms
get forum data:	3ms
get page messages:	505ms
get tp. blocked users:	2ms
others:	366ms

total:	978ms