powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Delphi [игнор отключен] [закрыт для гостей] / QuantumGrid и ОЧЕНЬ большие объемы данных
13 сообщений из 13, страница 1 из 1
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32261915
Василий Алибабаевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет!
Теститровал subj на предмет работы с большими объемами данных.
Использовал компоненты ODAC.

Неприятная особенность QuantumGrid- фетчить все с целью получения справочников по значениям (возможно ошибаюсь)

Может я не ту фичу заюзал?
Кто нибудь работал с этим компонентом на больших объемах?

Что делал я:

создал таблицу Test:
ID integer
NAME varchar2(150)
Parent_ID integer

И случайным образом запостил в нее 1000000 записей (в боевой БД таковых 12 млн. причем показывать нужно будет объединения)

Время отклика Grid-а в раз 10 больше чем ODAC без грида соединяется


Спасибо
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32261930
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Твоя проблема не в гриде а в "ОЧЕНЬ большие объемы данных".
Если ты ответишь себе на вопрос - "а нахрена так много сразу надо?" твоя проблема отпадет сама собой.
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32261964
Василий Алибабаевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Понятно, что нужно показывать не весь датасет..........
Но иногда бывают задачи, когда нужен ВЕСЬ ДАТАСЕТ.

Потому и спросил.
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32262053
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Раскажи мне про задачу, когда в гриде надо показывать "12 млн. причем показывать нужно будет объединения".
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32263208
Василий Алибабаевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Описываю:
Анализ/выгрузка остатков и операций по счетам Банка.

запросы со сложными вычислениями, где fetch all приводит к долгому зависанию всей системы.

При итерационной работе с такими запросами (генерируем запрос->выполняем, смотрим предварительный результат, изменяем критерии ->следующая итерация)

Вот так
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32263251
L0cat0r
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет !

Переведи его в GridMode
(если не используешь футоров с подбивкой итогов и т.п.)

в противном случае юзай быстрые мемо таблицы
(типа kbmMemTable) как датасеты

еще дальше GridMode + свой подсчет значений для
итогов (групп)

Удачи
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32263289
vaasys
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А зачем анализ-подсчет остатков на клиента возлагать...
Это бы нужно делать процедурами на сервере.
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32263302
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Василий Алибабаевич
>Анализ/выгрузка остатков и операций по счетам Банка.
Выгрузка куда? На клиента?

>запросы со сложными вычислениями, где fetch all приводит к долгому зависанию всей системы.
Ничего удивительного.


>При итерационной работе с такими запросами (генерируем запрос->выполняем, смотрим предварительный результат, изменяем критерии ->следующая итерация)
Т.е. юзер "выгрузил" себе 12 лимонов записей в грид, быстенько их все 12 проанализировал, и сказал - "нахрена дохрена нахреначили - расхреначивай нахрен". Почему бы всю эту процедуру не провести прямо на сервере, а юзеру дать ТОЛЬКО результат. Он ведь все равно не найдет ошибку в этих 12 миллионах записей.

>Вот так
Вот так
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32264219
Ray Adams
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ну я юзаю, причем постоянно. Другие гриды не использую. Там где я знаю что заведомо будет много записей я использую его в обычном GridMode, в этом режиме он не отличается от обячного грида. Тоесть нет сортировки, summary И так далее. В одном проекте у меня по запросу может выводиться до 2 лимонов записей, и все хокей.
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32264351
Василий Алибабаевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 L0cat0r: Спасибо

2 Серега:

Когда не знаешь чего делать, пустые комментарии никому не помогут. Конструктивные программеры отвечают : сделай то-то то-то

Иллюстрирую задачу для тех кто любит просто треп еще раз:

Юзерь хочет узнать про проводки по счетам кассы в корреспонденции с депозитными счетами.

Таких проводок может быть 10-30, а может быть 200 тыс - 500 тыс.

Естественно, поняв что таковых проводок много, юзерь добавит критерии отбора и в итоге получит набор меньший по объему на следующей итерации.

Так просто удобнее вот и все.

Другому узерю может понадобиться следующее:

Получить все погашения по кредитным счетам за период с выгрузкой в Ёксель.

Он может тоже предварительно "ковыряться" с критериями до момента когда он будет выгружать, например 50 тыс записей. (ну нужно ему это).


Так что с серверной частью извини наверное можно изголиться но неэффективно. Так как главный БОГ для программера всегда ЮЗЕРЬ!

Пока
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32264776
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Василий Алибабаевич
>Когда не знаешь чего делать, пустые комментарии никому не помогут. >Конструктивные программеры отвечают : сделай то-то то-то
Т.е. на поиски метода самоубийства предлагают:
1. Возьми веревку
2. Возми мыло...
8-)

>Юзерь хочет узнать про проводки по счетам кассы в корреспонденции с >депозитными счетами.
>Таких проводок может быть 10-30, а может быть 200 тыс - 500 тыс.
А узнать скока точно будет ты заранее можешь? Например count(*) сначала запросить? Или только прокачав по сети 500 000 записей? А я уверен на 99.9%, что основные затараты времени уходят именно на перекачку.


>Естественно, поняв что таковых проводок много, юзерь добавит критерии >отбора и в итоге получит набор меньший по объему на следующей итерации.
Во-во. Получил полмиллиона и понял. Но было поздно... 8-(

>Так просто удобнее вот и все.
Удобно тебе, а не серверу БД и не сети. Потому что делать ничего не надо, только советов спрашивать по оптимизации. Ну поставь себе супер-пупер сервер и проложи гигабитную сеть - поможет.

>Другому узерю может понадобиться следующее:
Так он не один! 8-)

>Получить все погашения по кредитным счетам за период с выгрузкой в Ёксель.
Что бы там просуммировать и построить диаграмму на 1 листе?

>Он может тоже предварительно "ковыряться" с критериями до момента когда >он будет выгружать, например 50 тыс записей. (ну нужно ему это).
Вряд ли ему это нужно. У него просто другого выбора нет.

Не может нормальный человек работать с такими объемами данных - физически не может!!!

>Так что с серверной частью извини наверное можно изголиться но >неэффективно. Так как главный БОГ для программера всегда ЮЗЕРЬ!
Таким Богам молиться - дорога в ад вымощена именно благими намереньями.

>Пока
Ну, пока
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32264818
Василий Алибабаевич
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2 Серега.

Позабавил ты меня .........


У меня уже все как 3 дня нормально работает (Gridmode в true поставил).

А ты до сих пор тут несешь какой то бред.

Вариант с каунтом не подходит, так как с объединениями и вложенными запросами этот каунт в некоторых случаях просчитываться будет очень долго.


Еще раз:
проблема решилась уже как 3 дня. Все отлично работает. Сеть не загружается.

При запросе на большой рекордсет юзерь возвращается только его часть (чего и нужно было добиться переставив свойство GridMode в True). Так что никто по сети 500 тыс записей не гоняет ..... в лучшем случае 100-1000





А твое лично мнение о задаче, которую ты не знаешь и не понимаешь всей специфики уже мне лично ни к чему, так как я ее решил давно.

Твой подход в моем контексте НЕ РАБОТАЕТ или работает НЕ ЭФФЕКТИВНО!

Понимешь какая штука .....

Ладно пока .... отдыхай
...
Рейтинг: 0 / 0
QuantumGrid и ОЧЕНЬ большие объемы данных
    #32264827
Серега
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
2Василий Алибабаевич
>Позабавил ты меня .........
А уж как я ржал...


>У меня уже все как 3 дня нормально работает (Gridmode в true поставил).
>А ты до сих пор тут несешь какой то бред.
А я думал тебе решение на 3 года работы нужно, как минимум. Вот и "бредил".

>А твое лично мнение о задаче, которую ты не знаешь и не понимаешь всей >специфики уже мне лично ни к чему, так как я ее решил давно.
>Твой подход в моем контексте НЕ РАБОТАЕТ или работает НЕ ЭФФЕКТИВНО!
Ну как же. Все задачи уникальные... для каждого индивидума.

>Ладно пока .... отдыхай
Да я и не напрягался... 8-)
...
Рейтинг: 0 / 0
13 сообщений из 13, страница 1 из 1
Форумы / Delphi [игнор отключен] [закрыт для гостей] / QuantumGrid и ОЧЕНЬ большие объемы данных
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]