|
|
|
DataStage. Максимальное количество запускаемых параллельных процессов
|
|||
|---|---|---|---|
|
#18+
Здравствуйте! Подскажите, пожалуйста, как можно проверить, какое максимальное число parallel jobs (структура которого состоит из двух коннекторов - один получает выборку из одной бд, второй - загружает ее в другую бд) возможно одновременно запустить на сервере DataStage? Возможно ли этот параметр изменить, и повлияет ли его изменение на какие-нибудь другие параметры (мб есть какие-то мониторинги нагрузки на сервер во время работы процессов)? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.07.2021, 04:53 |
|
||
|
DataStage. Максимальное количество запускаемых параллельных процессов
|
|||
|---|---|---|---|
|
#18+
Проверка возможна запуском большого количества заданий... =) Сделать проще всего реализовав циклический старт заданий БЕЗ ожидания завершения (рутинку надо написать простейшую для этого). Есть ряд параметров, которые влияют на количество заданий (для Linux): 1. См.настройка ядра Linux по семафорам и прочему в документации DS... 2. Количество процессов от имени опр.пользователя (dsadm скажем): ulimit -u 3. Количество файлов, которые может открыть один процесс: ulimit -n 4. GLTABSZ, RLTABSZ, MAXRLOCKS (несмотря на упоминание MFILES по ссылке ниже, лучше его НЕ трогать - не применим для современных систем, больше 500 не встречал, T30FILE описан отдельно) https://www.ibm.com/support/pages/use-tunable-parameters-uvconfig-file Наибольшие практические значения GLTABSZ, RLTABSZ, MAXRLOCKS соответственно: 150, 600, 599 5. T30FILE (чтобы начать крутить этот параметр вы должны получить соотв.ошибку, НЕ ранее. Наибольшее значение на практике у меня было 2048) https://www.ibm.com/support/pages/infosphere-datastage-how-calculate-value-t30file-parameter-uvconfig 6. Тип файла UV.ACCOUNT в каталоге DSEngine (по умолчанию Type 2, но иногда требуется конвертация к Type 30 - dynamic). Я так понимаю, вы хотите запускать параллельномножество копий одного и того же мелкого задания в несколько экземпляров (мультиинстанционные)? Видимо, для какого-то самописного контроля. И сколько вам нужно? =) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 11.08.2021, 19:39 |
|
||
|
DataStage. Максимальное количество запускаемых параллельных процессов
|
|||
|---|---|---|---|
|
#18+
Hunterik, здравствуйте! авторЯ так понимаю, вы хотите запускать параллельномножество копий одного и того же мелкого задания в несколько экземпляров (мультиинстанционные)? Не совсем так. Есть большое количество процессов, которые загружают данные в свои таблицы. Их где-то +/- 300 штук. Почему я начал думать на сервер DS, потому что при массовом запуске один из джобов просто не запускается, и сиквенс джоб верхнего уровня выдает fatal без указания причин ошибки, а пишет что-то типа - неизвестная ошибка, и, соответственно, вылетает в аборт, так как настроено, что все джобы должны быть загружены без ошибок. Возможно, это связано с объемом оперативной памяти, так как при аналогичных настройках на тестовом сервере процессы справляются с загрузкой, или бывают моменты, когда в одно время общий процесс валится, а в другое - загружается. поэтому и уточнял, если какие-то утилиты, типа nmon, которые могут мониторить процесс работы. P.S. У меня AIX ) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2021, 09:10 |
|
||
|
DataStage. Максимальное количество запускаемых параллельных процессов
|
|||
|---|---|---|---|
|
#18+
AVRomanenko, пока ошибки из лога нет, сказать трудно, на что можно посмотреть. Общее направление я вам дал, как правило проблемы начинаются с системных настроек, хотя всем сразу хочется запустить руки в потрошка DS. Если запускаете много всего и уходите за пределы оперативки, то при чём тут DataStage? Запускайте nmon со сбросом в файл 30-и секундными интервалами, пототм анализируйте проблемный период: NMON Analyzer ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2021, 12:01 |
|
||
|
DataStage. Максимальное количество запускаемых параллельных процессов
|
|||
|---|---|---|---|
|
#18+
AVRomanenko, можете ещё простой скрипт сделать для вызова вот этих двух команд из-под dsadm (dsenv засурсить не забудьте) для сброса вывода в файл с 30-60 секундным интервалом: $DSHOME/bin/smat -d < /dev/null $DSHOME/bin/smat -r < /dev/null По-моему, вместе можно, но у меня сейчас стенд не под рукой ($DSHOME/bin/smat -dr), d - hash файлы открытые, к - блокировки на движке. И какая у вас версия? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.08.2021, 16:51 |
|
||
|
|
start [/forum/topic.php?fid=43&fpage=1&tid=1600115]: |
0ms |
get settings: |
10ms |
get forum list: |
12ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
38ms |
get topic data: |
10ms |
get forum data: |
3ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
| others: | 8ms |
| total: | 127ms |
| 0 / 0 |
