Добрый день.Ситуация такова:
Есть база данных,в ней таблица.Идёт постоянная загрузка записей в таблицу в течении целого дня,а вечером таблица удаляется.Передается около миллиона строк за 10 минут.Реализовал буфер из которого выгружаю по 50 000 строк с помощью sqlbulkcopy.При этом по мере загрузки данных,требуется периодическая выборка из таблицы записей.

Проблема в том,что чем больше записей в таблице,тем больше времени требуется на запрос и загрузку записей.С каждой минутой работает все медленнее.

Думал реализовать создание новой таблицы через n-ый период времени,но не уверен,что иду по правильному пути.

Подскажите направление в котором копать.Возможно есть какие-либо методики по работе с большими объемами данных?

Заранее спасибо.