|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Ее разве делали для логирования? Я вот прочитал инфу что для слабоструктуированных данных. А вы что прочитали? Колись) - в работе с логами традиционно присутствует определенная степень бардака, поэтому любая интервенция, направленная на реструктуризацию этой экосистемы, так или иначе приводит к профиту, поэтому если убер получил какой-то профит, то далеко не факт что он был получен за счет использования ClickHouse - несколько неочевидна идея натравливания аналитики непосредственно на ELK, чего бы через ETL не преобразовывать данные к нужному виду и потом строить отчеты? по теме топика: вот в этом Петро явно прав: PetroNotC Sharp 1) по архитектуре бд не подходит для логирования ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 07:39 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Ее разве делали для логирования? Подходит всё, кроме "вставка большими пачками". А "размер пачки" это то, что должен уметь appender (под)системы логирования. Настройкой размера буфера, который будет заполняться перед "сбросом" данных в JPA-совместимый приёмник. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 10:42 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, Ну дак столбцовые это когда столбцы гуляют. Где они гуляют в логах? Наоборот всегда идут или 3 или 4. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 11:19 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, Она ближе к key-value ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 11:20 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
Возможно опыт убера не подходит для случая автора. В статье они обосновывают сложность своей схемы логгирования. А автор просто просил объединения логов с нескольких серверов в некий единый источник данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 13:37 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
PetroNotC Sharp Ну дак столбцовые это когда столбцы гуляют ClickHouse затачивалась на оперативную обработку больших рядов данных. Всё, что касается размеров вставляемой пачки - проблема буферизации в (под)системы логирования. Не проблема (любой) СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 13:56 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
Basil A. Sidorov, Большие данные и пачки не относятся к Модели. Они к размеру и.... А вот, колоночная и по_записям харктеризует куда гуляют данные. Либо идут вниз с константой колонки, либо идут вправо с разными колонками при каждой записи. Имхо. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 14:19 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
mayton В статье они обосновывают сложность своей схемы логгирования. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 15:19 |
|
Log4j + clickhouse
|
|||
---|---|---|---|
#18+
Андрей Панфилов mayton В статье они обосновывают сложность своей схемы логгирования. У меня есть своя версия. Они скорее всего логами называют некие свои данные по которым они потом гоняют аналитику. Тоесть то что Uber называет логами - это скорее всего просто некие евенты с сложным набором колонок. И если у них там 100500 колонок (где каждая - это уникальный JSonPath) Тоесть если ELK годится в анализе инцедентов, например найти отказы системы за период. То ClickHouse они скорее всего используют для сбора сведений. Им тогда уже удобнее резать логи "вдоль" на узкие полосочки по роду аналитики. Транспорт. Платежи. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2021, 15:31 |
|
|
start [/forum/topic.php?fid=59&msg=40114551&tid=2120302]: |
0ms |
get settings: |
16ms |
get forum list: |
6ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
37ms |
get topic data: |
3ms |
get forum data: |
1ms |
get page messages: |
196ms |
get tp. blocked users: |
2ms |
others: | 9ms |
total: | 272ms |
0 / 0 |