Есть небольшая система (FB2.5 WI Classic 64х), на ней в несколько таблиц собираются данные из нескольких источников (на каждый источник одна таблица, от 50 000 до 200 000 записей). Их после обработки нужно скопировать в общую таблицу (insert into select from). Операция нечастая и в принципе скорость выполнения особой роли не играет. Но можно ли как-то ее ускорить? Иногда не укладываемся во временной лимит и захватываем часть рабочего времени.

m7mКвазиЕсть небольшая система (FB2.5 WI Classic 64х), на ней в несколько таблиц собираются данные из нескольких источников (на каждый источник одна таблица, от 50 000 до 200 000 записей). Их после обработки нужно скопировать в общую таблицу (insert into select from). Операция нечастая и в принципе скорость выполнения особой роли не играет. Но можно ли как-то ее ускорить? Иногда не укладываемся во временной лимит и захватываем часть рабочего времени.

что не укладывается в лимит
копирование
или
обработка + копирования

?
Копирование. Обработка там копеечная, времени много не занимает.

m7mКвазиКопирование. Обработка там копеечная, времени много не занимает.
Сомневаюсь что можно скопировать быстрее чем (insert into select from).
в общем-то задача и состоит в том, чтобы ускорить insert into select from. Индексов нет. Полностью операция занимает несколько часов. Пока сделал копирование из одной базы в другую, не самый лучший вариант, но все же быстрее чем копирование между таблицами одной БД.

Источников 20. Из каждого данные заливаются в отдельную таблицу. После некоторой обработки должны сливаться в одну общую. Записей в самой большой около 800 000, заливались они туда несколько минут. Но при insert ... select почему-то операция заняла больше двух часов. Индексов, кроме PK нигде нет.

rdb_devКвази, в чем смысл слива данных из 20 таблиц в одну? Быть может, достаточно обойтись представлением к этим 20 таблицам?

Поступая из источников они немного отличаются и их нужно сохранить в исходном виде.

авторВ этой таблице не блобы с видеофильмами?
Нет, текстовые поля, размером не более 150 символов. Полей около 10.

авторможет select какой-то не такой?
простой как палка, без условий и прочего

авторВангую, что ни одна из промежуточных таблиц не является временной, а "обработка" жутко
плодит версии, после чего перелитие результата в отдельной транзакции их героически
пытается собрать. В этом случае геморрой предвидателен и неотвратим.
Вероятнее всего. Хотя "обработка" там тоже простая как лом, но если не ошибаюсь, то там было несколько попыток вставки данных. Попробую съездить до точки и посмотрю на месте.

fraksКвази,

Я так понимаю что ни структуры таблиц, ни запросов мы не увидим?
Там все просто и примитивно. Таблицы с несколькими varchar полями без блобов и проч. Индексов кроме PK нет. Запрос на копирование тоже простой - insert into *** select *** from (около 800 000 записей). Но запрос почему-то висел по несколько часов (не меньше 3. Видимо дело действительно в сборке мусора было. А может с железом что-то.