Этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
«На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
Политика конфиденциальности
|
|
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
господа, есть такой вопрос. В SSIS пакете сделан цикл, который будет выполняться много раз -- 10000 или 100000 раз. В цикле простой DataFlow источник -> назначение. Не зависнет ли это дело со временем? Он ведь пишел события в лог, и т.п. Не будет ли выедаться память со временем? Кто-то делал такие навороты? Какие рузультата. MS SQL 2016 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2019, 17:49 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
a_voroninНе зависнет ли это дело со временем? Он ведь пишел события в лог, и т.п. Не будет ли выедаться память со временем?Да вроде не "выедается". В самом SSIS. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2019, 19:06 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
a_voronin, Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 16.01.2019, 20:49 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
a_voronin, Делал нечто подобное, цикл крутил тысяч пятьдесят. Работает, явных проблем с утечками не видел. SSIS 2014 и 2016. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 11:14 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
.Евгенийa_voronin, Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта. А чем запускаете пакеты из родителя - задачей Execute Package ? Если так, то это древний реликт и пример unmanaged SSIS task. Дочерний пакет свои логи передает родителю для корректной регистрации, видимо, на больших объемах ломается. Что именно перезапускаете - исполнение родителя или сам SSIS сервис? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 11:19 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
FerdipuxА чем запускаете пакеты из родителя - задачей Execute Package ? Если так, то это древний реликт и пример unmanaged SSIS task. Да, я делаю это стандартным способом. Вы это делаете скрипт таском? Если так, то доступны ли в вызываемых пакетах переменные вызывающего (так же, как для стандартного способа)? FerdipuxЧто именно перезапускаете - исполнение родителя или сам SSIS сервис? Память утекает у ISServerExec.exe. Соответственно, завершаю родителя и перезапускаю джобу с его вызовом. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 11:56 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
.Евгений... Да, я делаю это стандартным способом. Вы это делаете скрипт таском? Если так, то доступны ли в вызываемых пакетах переменные вызывающего (так же, как для стандартного способа)? Можно вызывать пакет через C# или SQL, для проектной организации пакетов (для пакетной организации - тоже, но она устарела). Я это делал, когда нужно вызвать пакет из другого проекта. По сути, делается запуск пакета в другом процессе исполнения ISServerExec. Преимущества - можно пускать пакет откуда угодно. Недостатки - это другой процесс исполнения, собственные записи в SSISDB log, не связанные с родителем. По умолчанию запускается асинхронно, так что нужно сидеть и ловить окончание выполнения. Значения переменных в параметры дочернего пакета или в его переменные передавать можно. Что нельзя - менять переменные родителя из дочернего (так как контекст выполнения не тот). Пример кода как запускать пакеты. Когда мне нужно запустить пакет из того же проекта - запускаю штатной задачей, на ваши проблемы не наталкивался. В поддержку MS обращались? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 12:46 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
.Евгенийa_voronin, Делаю перезапуск пакетов (из материнского) несколько тысяч запусков раз в час и более - память выедается, причем память unmanaged. Внутри нее отмечал данные логов (но не уверен, что проблема только в них). При активной работе утечка доходит до 0,5 Гб в час. Держу ее в рамках разумного посредством периодического рестарта. Евгений, а по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 13:01 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
FerdipuxМожно вызывать пакет через C# или SQL, для проектной организации пакетов (для пакетной организации - тоже, но она устарела). (...) Что нельзя - менять переменные родителя из дочернего (так как контекст выполнения не тот). Это все мне было известно. Чего я не видел, так это признания со стороны MS нативного запуска пакета "древним реликтом". FerdipuxКогда мне нужно запустить пакет из того же проекта - запускаю штатной задачей, на ваши проблемы не наталкивался. В поддержку MS обращались?Не обращался. Предпочитаю не апеллировать к "высшим инстанциям", а найти workaround. a_voroninЕвгений, а по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило? Смотря как это делать. Минимальный шаг расписания MS SQL - 10 секунд, так что отслеживание и запуск нужно перекладывать на нечто мониторящее. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 13:13 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
.ЕвгенийЧего я не видел, так это признания со стороны MS нативного запуска пакета "древним реликтом". Это мое ХО, так как это один из немногих COM unmanaged тасков. Была задача запускать пакет так же, как и этот таск, но из script task. Не нашел способа, может, вы сталкивались. .ЕвгенийПредпочитаю не апеллировать к "высшим инстанциям", а найти workaround. Был положительный опыт. Долго, нудно, но патч выпустили. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 14:44 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
a_voroninа по факту, как быстро можно перезапускать пакет джобом, если онзакончился. Это за <1 секунды реально, чтобы происходило? Не очень. Часто после запуска проходит секунд 5, и в логе SSISDB для пакета пишется "Starting execution". Еще если часто пускать разные пакеты (с зазором в 50-100 мс), в SSIS 2014 вылетала ошибка дедлока в SSISDB. В 2016 вроде починили. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 14:47 |
|
||
|
Многократно повторяющийся цикл в SSIS пакете
|
|||
|---|---|---|---|
|
#18+
FerdipuxЭто мое ХО, так как это один из немногих COM unmanaged тасков. Была задача запускать пакет так же, как и этот таск, но из script task. Не нашел способа, может, вы сталкивались. Не сталкивался и не пытался найти, т.к. возможности стандартного таска меня устраивали. .ЕвгенийПредпочитаю не апеллировать к "высшим инстанциям", а найти workaround. Был положительный опыт. Долго, нудно, но патч выпустили.[/quot] Долго - не успеет быть использованным в моем решении. Нудно - тратить время на отвлечение от моего решения. Нафиг надо. Кроме того, у меня большой негатив в отношении команды, развивающей SSIS. Точнее, типа развивающей, ибо развития продукта практически не наблюдается, неудобства работы с продуктом не устраняют и, следовательно, просто губят его. То ли дело облака и хадупщина... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 17.01.2019, 15:24 |
|
||
|
|

start [/forum/topic.php?fid=46&fpage=118&tid=1688439]: |
0ms |
get settings: |
8ms |
get forum list: |
15ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
26ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 255ms |
| total: | 375ms |

| 0 / 0 |
