powered by simpleCommunicator - 2.0.49     © 2025 Programmizd 02
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / кликсенс и чеки
4 сообщений из 4, страница 1 из 1
кликсенс и чеки
    #40068603
мигель1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Добрый день, товарищи разработчики!

Есть широкая таблица несколько миллиардов записей

у каждой записи есть комментарий и пользователи просят отчет по комментариям
т.е. фильтровать, агрегировать итд

Я правильно понимаю, что мне нужно заложить ресурсов столько, чтобы эту таблица поместилась в память?

спасибо!
...
Рейтинг: 0 / 0
кликсенс и чеки
    #40069266
Фотография George Nordic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1, Qlik Sense хорошо данные жмет, 1:7 - 1:10. Насчет миллиардов - это надо смотреть. 2 млрд - это норм. Больше 2 млрд - крупный заказчик уже жаловался что быстродействие падает. Еще "Копейка" (до поглощения Х5) умудрилась порядка 7 млрд загнать, при этом память была 128, потом увеличили до 256. Но после применения каждого фильтра - несколько секунд на пересчет. Для тех, кто привык к мгновенному ответу - это шок. Поэтому или бить на несколько разных приложений (по подразделениям, годам и т.д.) и ограничивать кол-во записей, или ODAG. Можно тут спросить , там подскажут.

С Уважением,
Георгий
...
Рейтинг: 0 / 0
кликсенс и чеки
    #40074031
SpellBuilder
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
мигель1,

Не забываем, что нужно умножать на 2 или собирать на одном и потом перекладывать на другой. Вы когда собираете модель она сожрет +та которая работает съедает, так что *2. Что касается сжатия, хорошо сжимаются одинаковые значения, всякие id зло. Ваши комментарии аналогично плохо повторяются, зло. Память нынче дешевая + производители железа дают попробовать, собрали модели и посчитали, калькуляторов под qlik полно
...
Рейтинг: 0 / 0
кликсенс и чеки
    #40075653
L_argo
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Главное, чтобы коментарии были типизированы. т.е. чтобы уникальных значений было в 100 меньше самих строк.
Тогда взлетит.
...
Рейтинг: 0 / 0
4 сообщений из 4, страница 1 из 1
Форумы / OLAP и DWH [игнор отключен] [закрыт для гостей] / кликсенс и чеки
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]