alexeyvgDaniilSeryiНовая проблема образовалась: число файлов, подлежащих загрузке, достигает нескольких десятков. При этом объём каждого файла - несколько гигабайт и несколько десятков миллионов строк. Как можно ускорить процесс загрузки?
Кажется, мне уже советовали грузить файл в несколько потоков. То есть, первый поток грузит первые 4 миллиона строк, второй - следующие 4 миллиона, и т.д.
Правильно ли я понимаю, что для каждого потока надо будет создавать новый диспетчер подключения. При этом вся разница между этими диспетчерами будет только в диапазонах строк для загрузки?
И что будет, если число строк в файле окажется меньше, чем диапазон строк для загрузке в потоке?Это сложно.
Проще загружать каждый файл в отдельном потоке.

Это несколько for_each Loop и Data_Flow в одном пакете?

Или как-то ещё?

И ещё один вопрос появился, не связанный с этой задачей. Есть файл с данными транзакций. Всё хорошо, всё замечательно, но... Как всегда но... В этот файл какие-то умники вставили строки с промежуточными итогами, и типы столбцов в строках транзакций и строках промежуточных итогов не совпадают. Как отсеять строки промежуточных итогов? А... Блин... Дошло... Сделать обработчик ошибок, чтобы строки транзакций спокойно грузились в таблицу, а при обнаружении строк промежуточных итогов они просто игнорировались или в лог запись падала.

И третий вопрос, гораздо более интересный - по поиску альтернативного решения изначальной задачи.
Есть набор текстовых файлов. В каждом файле лежат данные за одну календарную неделю, соответственно данные одного файла могут относиться как к одному, так и к двум соседним месяцам (пример - неделя с 27.08.2018 по 02.09.2018), и данные за один месяц размазаны по нескольким файлам. Как без загрузки данных на SQL Server разнести данные в новые файлы по месяцам? SQL Server доступен, но файлы лежат на другом сервере, и таскать их по сети не хочется. Заголовки данных в файлах присутствуют, даты сохранены в формате "22Jun2018".