|
кликсенс и чеки
|
|||
---|---|---|---|
#18+
Добрый день, товарищи разработчики! Есть широкая таблица несколько миллиардов записей у каждой записи есть комментарий и пользователи просят отчет по комментариям т.е. фильтровать, агрегировать итд Я правильно понимаю, что мне нужно заложить ресурсов столько, чтобы эту таблица поместилась в память? спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
05.05.2021, 15:18 |
|
кликсенс и чеки
|
|||
---|---|---|---|
#18+
мигель1, Qlik Sense хорошо данные жмет, 1:7 - 1:10. Насчет миллиардов - это надо смотреть. 2 млрд - это норм. Больше 2 млрд - крупный заказчик уже жаловался что быстродействие падает. Еще "Копейка" (до поглощения Х5) умудрилась порядка 7 млрд загнать, при этом память была 128, потом увеличили до 256. Но после применения каждого фильтра - несколько секунд на пересчет. Для тех, кто привык к мгновенному ответу - это шок. Поэтому или бить на несколько разных приложений (по подразделениям, годам и т.д.) и ограничивать кол-во записей, или ODAG. Можно тут спросить , там подскажут. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
11.05.2021, 09:17 |
|
кликсенс и чеки
|
|||
---|---|---|---|
#18+
мигель1, Не забываем, что нужно умножать на 2 или собирать на одном и потом перекладывать на другой. Вы когда собираете модель она сожрет +та которая работает съедает, так что *2. Что касается сжатия, хорошо сжимаются одинаковые значения, всякие id зло. Ваши комментарии аналогично плохо повторяются, зло. Память нынче дешевая + производители железа дают попробовать, собрали модели и посчитали, калькуляторов под qlik полно ... |
|||
:
Нравится:
Не нравится:
|
|||
29.05.2021, 14:27 |
|
|
start [/forum/topic.php?fid=49&msg=40074031&tid=1857133]: |
0ms |
get settings: |
9ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
34ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
46ms |
get tp. blocked users: |
1ms |
others: | 14ms |
total: | 139ms |
0 / 0 |