powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / DataStage. Максимальное количество запускаемых параллельных процессов
5 сообщений из 5, страница 1 из 1
DataStage. Максимальное количество запускаемых параллельных процессов
    #40086943
AVRomanenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Здравствуйте! Подскажите, пожалуйста, как можно проверить, какое максимальное число parallel jobs (структура которого состоит из двух коннекторов - один получает выборку из одной бд, второй - загружает ее в другую бд) возможно одновременно запустить на сервере DataStage? Возможно ли этот параметр изменить, и повлияет ли его изменение на какие-нибудь другие параметры (мб есть какие-то мониторинги нагрузки на сервер во время работы процессов)?
...
Рейтинг: 0 / 0
DataStage. Максимальное количество запускаемых параллельных процессов
    #40090154
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Проверка возможна запуском большого количества заданий... =)
Сделать проще всего реализовав циклический старт заданий БЕЗ ожидания завершения (рутинку надо написать простейшую для этого).

Есть ряд параметров, которые влияют на количество заданий (для Linux):
1. См.настройка ядра Linux по семафорам и прочему в документации DS...
2. Количество процессов от имени опр.пользователя (dsadm скажем): ulimit -u
3. Количество файлов, которые может открыть один процесс: ulimit -n
4. GLTABSZ, RLTABSZ, MAXRLOCKS (несмотря на упоминание MFILES по ссылке ниже, лучше его НЕ трогать - не применим для современных систем, больше 500 не встречал, T30FILE описан отдельно)
https://www.ibm.com/support/pages/use-tunable-parameters-uvconfig-file
Наибольшие практические значения GLTABSZ, RLTABSZ, MAXRLOCKS соответственно: 150, 600, 599
5. T30FILE (чтобы начать крутить этот параметр вы должны получить соотв.ошибку, НЕ ранее. Наибольшее значение на практике у меня было 2048)
https://www.ibm.com/support/pages/infosphere-datastage-how-calculate-value-t30file-parameter-uvconfig
6. Тип файла UV.ACCOUNT в каталоге DSEngine (по умолчанию Type 2, но иногда требуется конвертация к Type 30 - dynamic).

Я так понимаю, вы хотите запускать параллельномножество копий одного и того же мелкого задания в несколько экземпляров (мультиинстанционные)? Видимо, для какого-то самописного контроля. И сколько вам нужно? =)
...
Рейтинг: 0 / 0
DataStage. Максимальное количество запускаемых параллельных процессов
    #40090192
AVRomanenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Hunterik, здравствуйте!
авторЯ так понимаю, вы хотите запускать параллельномножество копий одного и того же мелкого задания в несколько экземпляров (мультиинстанционные)?
Не совсем так. Есть большое количество процессов, которые загружают данные в свои таблицы. Их где-то +/- 300 штук.
Почему я начал думать на сервер DS, потому что при массовом запуске один из джобов просто не запускается, и сиквенс джоб верхнего уровня выдает fatal без указания причин ошибки, а пишет что-то типа - неизвестная ошибка, и, соответственно, вылетает в аборт, так как настроено, что все джобы должны быть загружены без ошибок.
Возможно, это связано с объемом оперативной памяти, так как при аналогичных настройках на тестовом сервере процессы справляются с загрузкой, или бывают моменты, когда в одно время общий процесс валится, а в другое - загружается.
поэтому и уточнял, если какие-то утилиты, типа nmon, которые могут мониторить процесс работы.
P.S. У меня AIX )
...
Рейтинг: 0 / 0
DataStage. Максимальное количество запускаемых параллельных процессов
    #40090244
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AVRomanenko,
пока ошибки из лога нет, сказать трудно, на что можно посмотреть.
Общее направление я вам дал, как правило проблемы начинаются с системных настроек, хотя всем сразу хочется запустить руки в потрошка DS.
Если запускаете много всего и уходите за пределы оперативки, то при чём тут DataStage?
Запускайте nmon со сбросом в файл 30-и секундными интервалами, пототм анализируйте проблемный период:
NMON Analyzer
...
Рейтинг: 0 / 0
DataStage. Максимальное количество запускаемых параллельных процессов
    #40090372
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AVRomanenko,
можете ещё простой скрипт сделать для вызова вот этих двух команд из-под dsadm (dsenv засурсить не забудьте) для сброса вывода в файл с 30-60 секундным интервалом:
$DSHOME/bin/smat -d < /dev/null
$DSHOME/bin/smat -r < /dev/null

По-моему, вместе можно, но у меня сейчас стенд не под рукой ($DSHOME/bin/smat -dr), d - hash файлы открытые, к - блокировки на движке.
И какая у вас версия?
...
Рейтинг: 0 / 0
5 сообщений из 5, страница 1 из 1
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / DataStage. Максимальное количество запускаемых параллельных процессов
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (10): Анонимы (7), Yandex Bot 1 мин., Bing Bot 3 мин., RePredeclared 4 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]