powered by simpleCommunicator - 2.0.34     © 2025 Programmizd 02
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Как быстрее обработать данные
5 сообщений из 5, страница 1 из 1
Как быстрее обработать данные
    #32002761
Николай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Приветствую!

У меня проблема: необходимо обработать таблицу идентификаторов (>>50'000 записей).
Перепробовал много: ообрабатывать на MS SQL Server'е с помощью хранимых процедур (ооочень долго),
в среде DELPHI c помощью RXMemoryTable и ADOQuery (все-равно очень долго).
К тому же в RXMemoryTable 2.75 неработает св-во Filtered

ВОПРОСЫ:
- если решать задачу с помощью динамического массива , то будет ли быстрее?
- если да, то не будет ли критичным кол-во эл-тов массива >>500'000?

Буду благодарен всем ответившим!

ЗЫ.: Ни у кого нет патча для RXMemoryTable?
...
Рейтинг: 0 / 0
Как быстрее обработать данные
    #32002764
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А почему "ообрабатывать на MS SQL Server'е с помощью хранимых процедур (ооочень долго)"? 50000 - это-же не объём. Или там делается что-то безумно сложное?
...
Рейтинг: 0 / 0
Как быстрее обработать данные
    #32002768
Николай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2alexeyvg
Речь идет о следующей задаче:
У меня БД книжного интернет-магазина, каждая книга может встречаться в нескольких рубриках.
Передо мной была поставлена задача составления классификации, в суть которой пока не будем вдаваться.

Нужно составить таблицу пересечений множеств всех рубрик, составить таблицу идентификаторов книг, входящих в эти отдельные множества.
ПРИМЕР: если взять 3 взаимно-пересекающихся мн-ва, то в 1й таблице будет 7 записей по одному на каждое пересечение. А во 2ю - поместим идентификаторы книг, в них входящих, после чего расчитаем кол-во книг, вошедших в каждое пересечение рубрик.
Я попробовал написать хранимую процедуру но еще с 12000 записями она выполняется черезчур медленно.
...
Рейтинг: 0 / 0
Как быстрее обработать данные
    #32002780
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я думаю, что на 50'000 записей это должно работать от нескольких секунд до несколько минут (зависит от сервера и от того, что такое "пересечения множеств всех рубрик" - это я не понял). "безумно сложное" - это я имел в виду курсор и вызов хр. процедур для каждой записи из этих 50000.
...
Рейтинг: 0 / 0
Как быстрее обработать данные
    #32002783
Николай
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
2alexeyvg:
Да, я написал курсор, вызывающий хр.проц., результата вычислений которой я даже не дождался.
Сейчас я пишу прогу на дельфе, которая зачитает в динамические массивы данные (благо данные целочисленные) и будет их там сама пережевывать.

Меня беспокоит лишь один вопрос: интересно, как поведет себя мое приложение, если я захочу выделить память хотя бы под 500'000 записей?
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / Delphi [игнор отключен] [закрыт для гостей] / Как быстрее обработать данные
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]