Вопрос по SSIS - как обрабатывать в пакете ситуацию, когда часть имени файла меняется?

То есть каждую неделю в папку падает файл данных, у которого есть переменная часть - номер недели года. Как это обрабатывать?

Mind,

Спасибо огромное!

Так... доехали до переменной в соединении...

В общем так:
18409133
автор Проблему случайно раскрыл.
Но в примере микрософта об это ни слова.
Соединение при создании является объектом проекта и это происходит по умолчанию.
В проекте может быть несколько пакетов и соединение проекта может использоваться в любом пакете.
Переменные создаются только в пакете и видны только внутри пакета, но не вне.
Соединение как объект проекта видит только параметры проекта, что и наблюдалось.
Поэтому соединение проекта не будет видеть переменные пакетов.
У соединения проекта в контектном меню есть такая команда: Перестроить в соединение пакета.
После этой команды в построителе выражений появляется узел Переменные и параметры уже не пустой.
В документации мне это не попадалось.

Glebanski,

Спасибо, позже посмотрю. Пока стандартное решение устраивает.

У меня сейчас другая проблема возникла.
Надо в пакет засунуть команды распаковки pgp-файлов, их объединение и распаковка получившегося архива.

При этом ещё надо использовать конкретные утилиты - gpg, tar и gz.

FerdipuxDaniilSeryiТак... доехали до переменной в соединении...

Так это не проблема. Есть минимум два способа решения.
1. Делаете Conn Manager уровня пакета (можете клонировать проектный) и там пользуетесь выражениями с переменными пакета.
2. Делаете параметр проекта. Далее - в expression Conn Manager используете данный параметр. При запуске пакета - указываете значение параметра проекта.

Ну да, как раз первый вариант я и задействовал.

Владислав Колосов - он и используется.

Подниму тему новым вопросом - как в SSIS выполнить набор команд для командной строки?
При условии, что этот набор команд не был заранее оформлен в виде .bat файла ?

Проблема в том, что задача «Выполнение процесса» / «Execute process» требует на вход .com, .exe. или .bat файл.

Владислав КолосовDaniilSeryi,

Создать пакетный файл. Выполнить.

а это при помощи какой задачи?

Как понимаю, ещё можно из ScriptTask-a создать .bat файл?

В общем, остановился на варианте с запуском нужных команд при помощи "Выполнение процесса" (не помню сейчас, как название на заграничном будет).

a_voroninDaniilSeryi,

1) присвоить нужное имя файла переменной (Script Task)
2) Взять имя файла из переменной

Спасибо, так и сделал. Плюс For Each Loop над этим крутится.

Теперь другая проблема - в Visual Studio 2015 в Script Task-e с DTS.Variables проблем нет, всё сделано, значения переменных читаются / присваиваются, всё реализовано, проверено, внутреннее тестирование успешно пройдено, а вот в Visual Studio 2008 никак не пойму, как с DTS.Variables работать. Или там другой инструмент для работы с переменными пакета? При этом в обоих случаях все необходимые переменные в ReadOnlyVariables и ReadWriteVariables указаны.

Новая проблема образовалась: число файлов, подлежащих загрузке, достигает нескольких десятков. При этом объём каждого файла - несколько гигабайт и несколько десятков миллионов строк. Как можно ускорить процесс загрузки?
Кажется, мне уже советовали грузить файл в несколько потоков. То есть, первый поток грузит первые 4 миллиона строк, второй - следующие 4 миллиона, и т.д.
Правильно ли я понимаю, что для каждого потока надо будет создавать новый диспетчер подключения. При этом вся разница между этими диспетчерами будет только в диапазонах строк для загрузки?
И что будет, если число строк в файле окажется меньше, чем диапазон строк для загрузке в потоке?

Второй вопрос - можно ли аналогично ускорить выгрузку данных в текстовый файл?

komrad,

Благодарю.

alexeyvgDaniilSeryiНовая проблема образовалась: число файлов, подлежащих загрузке, достигает нескольких десятков. При этом объём каждого файла - несколько гигабайт и несколько десятков миллионов строк. Как можно ускорить процесс загрузки?
Кажется, мне уже советовали грузить файл в несколько потоков. То есть, первый поток грузит первые 4 миллиона строк, второй - следующие 4 миллиона, и т.д.
Правильно ли я понимаю, что для каждого потока надо будет создавать новый диспетчер подключения. При этом вся разница между этими диспетчерами будет только в диапазонах строк для загрузки?
И что будет, если число строк в файле окажется меньше, чем диапазон строк для загрузке в потоке?Это сложно.
Проще загружать каждый файл в отдельном потоке.

Это несколько for_each Loop и Data_Flow в одном пакете?

Или как-то ещё?

И ещё один вопрос появился, не связанный с этой задачей. Есть файл с данными транзакций. Всё хорошо, всё замечательно, но... Как всегда но... В этот файл какие-то умники вставили строки с промежуточными итогами, и типы столбцов в строках транзакций и строках промежуточных итогов не совпадают. Как отсеять строки промежуточных итогов? А... Блин... Дошло... Сделать обработчик ошибок, чтобы строки транзакций спокойно грузились в таблицу, а при обнаружении строк промежуточных итогов они просто игнорировались или в лог запись падала.

И третий вопрос, гораздо более интересный - по поиску альтернативного решения изначальной задачи.
Есть набор текстовых файлов. В каждом файле лежат данные за одну календарную неделю, соответственно данные одного файла могут относиться как к одному, так и к двум соседним месяцам (пример - неделя с 27.08.2018 по 02.09.2018), и данные за один месяц размазаны по нескольким файлам. Как без загрузки данных на SQL Server разнести данные в новые файлы по месяцам? SQL Server доступен, но файлы лежат на другом сервере, и таскать их по сети не хочется. Заголовки данных в файлах присутствуют, даты сохранены в формате "22Jun2018".