Добрый день коллеги!

Подскажите есть ли такая возможность, чтобы данные не передавались в Stage MAN_MACRORATESVALUES(см. вложенный файл), до тех пор, пока не выполнится запись в Stage InsertDataBlock.
А то иногда не успевает записаться и происходит ошибка ссылочных ключей.
Мы эту проблему решаем с помощью DataSet-ов и инсерт переносим в другй Джоб, а дальше с помощью последовательных джобов заливаем.

Есть другой способ?

Hunterik,

Спасибо, понял куда копать.

HunterikДа и снимите вы уже констрейнты.... =)

Отлично!! Как я до этого не додумался. )))
Пойду обрадую начальника, скажу нашел решение проблемы. )))

HunterikЕщё по куску вашего задания:
1. Мне кажется, что было бы лучше три трансформера и фаннел заменить одним трансформером, а может, и копи элемент убрать...
Констрейнтами и условиями внутри трансформера определить логику обработки.
2. У вас стоит дедубликатор RemoveDuplicID...
Дедубликаторы требуют отсортированного входного потока, если вы не сортируете входной поток, сортировка с 20Мб размером памяти будет вставлена за вас, см. $APT_DUMP_SCORE переменную и вещи типа tsort inserted в логе.
С другой стороны, элемент Sort позволяет не только дедуплицировать поток (Allow Duplicates = false), но и управлять памятью, отводимой под данный процесс (Restrict Memory Usage = ...) на партицию.

Сходили бы на базовые курсы. =)

Этот джоб будут запускать раз в месяц, поэтому удар сделали на понятность, а не на производительность.
И строк врят ли будет больше чем есть. Но все равно спасибо за совет.