У меня есть задача: конвертировать таблицы в текстовых файлах в таблицы SQL Server'а.
Эти тестовый файлы достаточно большие (2-8 Mb) и их 14*3 штук. При этом данные в файлах и таблицах SQL Server'а могут повторяться (то есть в тектовом файле измененная запись базы).

Написал программу, она конвертирует эти файлы, но, при этом, ужасно тормозит.
При обработке каждого файла делается 5-7 тыс insert'ов или update'ов, а перед этим еще и дофига select'ов (для определения того, что делать: обновлять или вставлять). Но что самое главное, SQL Server начинает пожирать память и доходит до 255 Mb (он что там делает-то?).

В этой связи несколько вопросов:
1. Почему растет SQL Server
2. Как написать такой запрос, чтобы не делать сначала select, потом insert или update

Заранее спасибо.

А можно ли отключить это кэширование?

Да, еще забыл вот что, после того, как программа отработала, SQL Server продолжает занимать 255 Mb. Это тоже нормально? Он выгружать себя из памяти никогда не будет?

Да нет, памяти то мне не жалко ее пока хватает, просто хотелось узнать (а больше 255 SQL Server никогда и не занимал, наверное там такой предел стоит, завтра посмотрю).

А утилиту bcp или bulk insert не использовал, потому что тектовые файлы разные. А так написал программу, а она по шаблону каждый файл и разбирает.

А вообще, как еще можно увеличить скорость исполнения запросов?


Спасибо за ответы.

И еще, можно ли использовать bcp или bulk insert, если нужно не только добавлять новые данные, но и обновлять старые. И опять же еще кажется, что bulk insert не реагирует на хранимые процедуры.

To DTS Wizard.
Вопрос 1. MS SQL Server 7.0
Вопрос 2. Вроде, если я не путаю, в DTS, в bulk insert используется разделитель между столбцами, в моем же случае он не задан точно, то есть задана длина поля в символах, причем расположены данные в каждом поле хрен знает как, например (вместо пробелов, которые есть в файле, я здесь напишу "_", а то что-то он пропускаются в сообщении):

a (20 символов) b(15 символов) c(10 символов)
---------------------------------------------------------------------
aaa_________________ _____________bb cc________
aaaaa_______________ ____bbbb_______ ccccc_____
_________aaaaaaaaaaa bbbbbbbbbbbbbbb _______ccc
Вопрос 3. Что ты имеешь в виду?

Еще можно ли с помощью этих утилит не только добавлять данные, но и обновлять уже имеющиеся?

To Moth.
Тормозит в смысле скорости (как я понял это не тормозит, просто до этого я думал, что все это несколько шустрее работает).

Если я в чем-то ошибаюсь, напишите пожалуйста, или напишите как можно сделать лучше.