Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
05.05.2021, 15:18
|
|||
---|---|---|---|
кликсенс и чеки |
|||
#18+
Добрый день, товарищи разработчики! Есть широкая таблица несколько миллиардов записей у каждой записи есть комментарий и пользователи просят отчет по комментариям т.е. фильтровать, агрегировать итд Я правильно понимаю, что мне нужно заложить ресурсов столько, чтобы эту таблица поместилась в память? спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
|
11.05.2021, 09:17
|
|||
---|---|---|---|
|
|||
кликсенс и чеки |
|||
#18+
мигель1, Qlik Sense хорошо данные жмет, 1:7 - 1:10. Насчет миллиардов - это надо смотреть. 2 млрд - это норм. Больше 2 млрд - крупный заказчик уже жаловался что быстродействие падает. Еще "Копейка" (до поглощения Х5) умудрилась порядка 7 млрд загнать, при этом память была 128, потом увеличили до 256. Но после применения каждого фильтра - несколько секунд на пересчет. Для тех, кто привык к мгновенному ответу - это шок. Поэтому или бить на несколько разных приложений (по подразделениям, годам и т.д.) и ограничивать кол-во записей, или ODAG. Можно тут спросить , там подскажут. С Уважением, Георгий ... |
|||
:
Нравится:
Не нравится:
|
|||
|
29.05.2021, 14:27
|
|||
---|---|---|---|
|
|||
кликсенс и чеки |
|||
#18+
мигель1, Не забываем, что нужно умножать на 2 или собирать на одном и потом перекладывать на другой. Вы когда собираете модель она сожрет +та которая работает съедает, так что *2. Что касается сжатия, хорошо сжимаются одинаковые значения, всякие id зло. Ваши комментарии аналогично плохо повторяются, зло. Память нынче дешевая + производители железа дают попробовать, собрали модели и посчитали, калькуляторов под qlik полно ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=49&mobile=1&tid=1857133]: |
0ms |
get settings: |
9ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
49ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
42ms |
get tp. blocked users: |
1ms |
others: | 288ms |
total: | 424ms |
0 / 0 |