powered by simpleCommunicator - 2.0.29     © 2024 Programmizd 02
Map
Форумы / Java [игнор отключен] [закрыт для гостей] / Log4j + clickhouse
9 сообщений из 34, страница 2 из 2
Log4j + clickhouse
    #40114417
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Ее разве делали для логирования?
Я вот прочитал инфу что для слабоструктуированных данных.
А вы что прочитали?
Колись)
ну вот убер вполне себе полагает что в ClickHouse логи хранить лучше чем в ELK , хотя у меня после прочтения сложилось несколько иное впечатление, а именно:
- в работе с логами традиционно присутствует определенная степень бардака, поэтому любая интервенция, направленная на реструктуризацию этой экосистемы, так или иначе приводит к профиту, поэтому если убер получил какой-то профит, то далеко не факт что он был получен за счет использования ClickHouse
- несколько неочевидна идея натравливания аналитики непосредственно на ELK, чего бы через ETL не преобразовывать данные к нужному виду и потом строить отчеты?

по теме топика: вот в этом Петро явно прав:
PetroNotC Sharp
1) по архитектуре бд не подходит для логирования
что ELK что ClickHouse "любят" когда вставка идет батчами, поэтому самый бронебойный вариант такой: логировать в структурированном виде в какое-то довольно простое место (например в файл), а оттуда уже лить батчами.
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114446
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Ее разве делали для логирования?
Ключевые особенности .
Подходит всё, кроме "вставка большими пачками".
А "размер пачки" это то, что должен уметь appender (под)системы логирования.
Настройкой размера буфера, который будет заполняться перед "сбросом" данных в JPA-совместимый приёмник.
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114461
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,
Ну дак столбцовые это когда столбцы гуляют.
Где они гуляют в логах?
Наоборот всегда идут или 3 или 4.
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114462
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,
Она ближе к key-value
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114507
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Возможно опыт убера не подходит для случая автора. В статье они обосновывают сложность своей схемы логгирования.

А автор просто просил объединения логов с нескольких серверов в некий единый источник данных.
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114511
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PetroNotC Sharp
Ну дак столбцовые это когда столбцы гуляют
По барабану - гуляют или нет.
ClickHouse затачивалась на оперативную обработку больших рядов данных.
Всё, что касается размеров вставляемой пачки - проблема буферизации в (под)системы логирования. Не проблема (любой) СУБД.
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114521
PetroNotC Sharp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Basil A. Sidorov,
Большие данные и пачки не относятся к Модели.
Они к размеру и....
А вот, колоночная и по_записям харктеризует куда гуляют данные. Либо идут вниз с константой колонки, либо идут вправо с разными колонками при каждой записи.
Имхо.
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114548
Андрей Панфилов
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
mayton
В статье они обосновывают сложность своей схемы логгирования.
Да как-то особо не обосновыают... первоначальный тезис у них: "ну вот в разных системах набор полей почему-то разный, да и типы тоже разные бывают, а ELK такое не прожовывает" - здесь уже непонятно зачем логи из разных систем складывать в один индекс, а решение возникает такое: "давайте ELK выставим на мороз (при этом синтаксис запросов попытаемся сохранить), вместо него поставим кликахаус, кафку и напишем загрузчик, который будет заниматься трансформацией данных" - а что мешало для ELK данные точно также трансформировать-то?
...
Рейтинг: 0 / 0
Log4j + clickhouse
    #40114551
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Андрей Панфилов
mayton
В статье они обосновывают сложность своей схемы логгирования.
Да как-то особо не обосновыают... первоначальный тезис у них: "ну вот в разных системах набор полей почему-то разный, да и типы тоже разные бывают, а ELK такое не прожовывает" - здесь уже непонятно зачем логи из разных систем складывать в один индекс, а решение возникает такое: "давайте ELK выставим на мороз (при этом синтаксис запросов попытаемся сохранить), вместо него поставим кликахаус, кафку и напишем загрузчик, который будет заниматься трансформацией данных" - а что мешало для ELK данные точно также трансформировать-то?

У меня есть своя версия. Они скорее всего логами называют некие свои данные по которым они потом гоняют
аналитику. Тоесть то что Uber называет логами - это скорее всего просто некие евенты с сложным набором колонок.
И если у них там 100500 колонок (где каждая - это уникальный JSonPath)

Тоесть если ELK годится в анализе инцедентов, например найти отказы системы за период.

То ClickHouse они скорее всего используют для сбора сведений. Им тогда уже удобнее резать логи
"вдоль" на узкие полосочки по роду аналитики. Транспорт. Платежи.
...
Рейтинг: 0 / 0
9 сообщений из 34, страница 2 из 2
Форумы / Java [игнор отключен] [закрыт для гостей] / Log4j + clickhouse
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]