Всем здравствуйте!
Имеется большой объем записей (более 100 млн.) в одной таблице, которые нужно выгрузить в xlsx файлы по категориям, при этом в одном xlsx файле должны быть строки только одной категории.
Т.е. на выходе что-то в этом роде:
Файл Содержимоекатегория1_01.xlsx 1 млн. записейкатегория1_02.xlsx 1 млн. записейкатегория1_03.xlsx 1 млн. записейкатегория1_04.xlsx 0.2 млн. записейкатегория2_01.xlsx 1 млн. записейкатегория2_02.xlsx 0.8 млн. записейкатегория3_01.xlsx 0.1 млн. записейкатегория4_01.xlsx 0.02 млн. записей...
Пока есть мысль создать поле в таблице, которое заполнить требуемым именем файла, через T-SQL прописать чтобы одно имя файла было не более чем в 1 млн строк, а потом циклом через SSIS выгрузить xlsx файлы.
Сомнения:
1) усложнение через доп T-SQL процедуры
2) SSIS может начать выдавать не очень хорошие файлы на масштабах, близких к максимальному размеру по количеству строк. Типа файлы будут выдаваться как corrupted

Есть другая идея:
1) выгрузить каждую категорию в свой csv файл, те из них, что больше 1 млн. строк, нарубить при помощи FileSplitter на файлы с нужным количеством строк
2) сделать макрос на VBA в Excel, который пересохранить csv в xlsx файлы.

Так вот, может есть в SSIS какой-то готовый подход по порционной выгрузке больших таблиц на диск?

TaPaKHorseJack,

автор1) выгрузить каждую категорию в свой csv файл, те из них, что больше 1 млн. строк, нарубить при помощи FileSplitter на файлы с нужным количеством строк
2) сделать макрос на VBA в Excel, который пересохранить csv в xlsx файлы.
bcp -> csv хоть по млн если надо, потом пересохранить. Всё в одним cmd можно сделать
спасибо, в принципе рабочий вариант. Пошерстю какие форматы Excel может из коробки делать.

vboretsHorseJack,

В Эксель миллион строк? ха-ха

делайте Куб
кубы будут делать другие люди, которым я передам эти xlsx файлы

TaPaKHorseJackпропущено...

кубы будут делать другие люди, которым я передам эти xlsx файлы
зачем тогда дробить по млн? слить всё в один или по категориям
В Excel файле стоит ограничение на 1 млн строк на одном листе, ряд категорий содержит более миллиона строк. Т.е. не получится сделать так: каждая категория в один файл, ряд из них будут слишком большими.

TaPaKHorseJackпропущено...

В Excel файле стоит ограничение на 1 млн строк на одном листе, ряд категорий содержит более миллиона строк. Т.е. не получится сделать так: каждая категория в один файл, ряд из них будут слишком большими.
а зачем вообще в excel открывать?Требование заказчика! Их ещё индивидуально будут просматривать и изучать. А тот, кто будет просматривать в экселе хорошо это умеет делать.