powered by simpleCommunicator - 2.0.60     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Многократно повторяющийся цикл в SSIS пакете
12 сообщений из 12, страница 1 из 1
Многократно повторяющийся цикл в SSIS пакете
    #39760458
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
господа,
есть такой вопрос. В SSIS пакете сделан цикл, который будет выполняться много раз -- 10000 или 100000 раз. В цикле простой DataFlow источник -> назначение.

Не зависнет ли это дело со временем? Он ведь пишел события в лог, и т.п. Не будет ли выедаться память со временем?

Кто-то делал такие навороты? Какие рузультата. MS SQL 2016
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760486
Фотография alexeyvg
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voroninНе зависнет ли это дело со временем? Он ведь пишел события в лог, и т.п. Не будет ли выедаться память со временем?Да вроде не "выедается". В самом SSIS.
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760520
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
a_voronin,

Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта.
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760704
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
a_voronin,

Делал нечто подобное, цикл крутил тысяч пятьдесят. Работает, явных проблем с утечками не видел. SSIS 2014 и 2016.
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760707
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
.Евгенийa_voronin,

Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта.

А чем запускаете пакеты из родителя - задачей Execute Package ? Если так, то это древний реликт и пример unmanaged SSIS task. Дочерний пакет свои логи передает родителю для корректной регистрации, видимо, на больших объемах ломается.
Что именно перезапускаете - исполнение родителя или сам SSIS сервис?
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760738
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
FerdipuxА чем запускаете пакеты из родителя - задачей Execute Package ? Если так, то это древний реликт и пример unmanaged SSIS task.
Да, я делаю это стандартным способом. Вы это делаете скрипт таском? Если так, то доступны ли в вызываемых пакетах переменные вызывающего (так же, как для стандартного способа)?
FerdipuxЧто именно перезапускаете - исполнение родителя или сам SSIS сервис?
Память утекает у ISServerExec.exe. Соответственно, завершаю родителя и перезапускаю джобу с его вызовом.
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760788
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
.Евгений...
Да, я делаю это стандартным способом. Вы это делаете скрипт таском? Если так, то доступны ли в вызываемых пакетах переменные вызывающего (так же, как для стандартного способа)?

Можно вызывать пакет через C# или SQL, для проектной организации пакетов (для пакетной организации - тоже, но она устарела). Я это делал, когда нужно вызвать пакет из другого проекта. По сути, делается запуск пакета в другом процессе исполнения ISServerExec.
Преимущества - можно пускать пакет откуда угодно.
Недостатки - это другой процесс исполнения, собственные записи в SSISDB log, не связанные с родителем. По умолчанию запускается асинхронно, так что нужно сидеть и ловить окончание выполнения.

Значения переменных в параметры дочернего пакета или в его переменные передавать можно. Что нельзя - менять переменные родителя из дочернего (так как контекст выполнения не тот).
Пример кода как запускать пакеты.

Когда мне нужно запустить пакет из того же проекта - запускаю штатной задачей, на ваши проблемы не наталкивался. В поддержку MS обращались?
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760803
Фотография a_voronin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.Евгенийa_voronin,

Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта.

Евгений, а по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило?
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760815
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
FerdipuxМожно вызывать пакет через C# или SQL, для проектной организации пакетов (для пакетной организации - тоже, но она устарела).
(...)
Что нельзя - менять переменные родителя из дочернего (так как контекст выполнения не тот).
Это все мне было известно. Чего я не видел, так это признания со стороны MS нативного запуска пакета "древним реликтом".
FerdipuxКогда мне нужно запустить пакет из того же проекта - запускаю штатной задачей, на ваши проблемы не наталкивался. В поддержку MS обращались?Не обращался. Предпочитаю не апеллировать к "высшим инстанциям", а найти workaround.
a_voroninЕвгений, а по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило?
Смотря как это делать. Минимальный шаг расписания MS SQL - 10 секунд, так что отслеживание и запуск нужно перекладывать на нечто мониторящее.
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760899
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
.ЕвгенийЧего я не видел, так это признания со стороны MS нативного запуска пакета "древним реликтом".
Это мое ХО, так как это один из немногих COM unmanaged тасков.
Была задача запускать пакет так же, как и этот таск, но из script task. Не нашел способа, может, вы сталкивались.

.ЕвгенийПредпочитаю не апеллировать к "высшим инстанциям", а найти workaround.
Был положительный опыт. Долго, нудно, но патч выпустили.
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760904
Ferdipux
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
a_voroninа по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило?
Не очень. Часто после запуска проходит секунд 5, и в логе SSISDB для пакета пишется "Starting execution". Еще если часто пускать разные пакеты (с зазором в 50-100 мс), в SSIS 2014 вылетала ошибка дедлока в SSISDB. В 2016 вроде починили.
...
Рейтинг: 0 / 0
Многократно повторяющийся цикл в SSIS пакете
    #39760957
.Евгений
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
FerdipuxЭто мое ХО, так как это один из немногих COM unmanaged тасков.
Была задача запускать пакет так же, как и этот таск, но из script task. Не нашел способа, может, вы сталкивались.
Не сталкивался и не пытался найти, т.к. возможности стандартного таска меня устраивали.
.ЕвгенийПредпочитаю не апеллировать к "высшим инстанциям", а найти workaround.
Был положительный опыт. Долго, нудно, но патч выпустили.[/quot]
Долго - не успеет быть использованным в моем решении. Нудно - тратить время на отвлечение от моего решения. Нафиг надо.

Кроме того, у меня большой негатив в отношении команды, развивающей SSIS. Точнее, типа развивающей, ибо развития продукта практически не наблюдается, неудобства работы с продуктом не устраняют и, следовательно, просто губят его. То ли дело облака и хадупщина...
...
Рейтинг: 0 / 0
12 сообщений из 12, страница 1 из 1
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Многократно повторяющийся цикл в SSIS пакете
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]