powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / DataStage vs C
25 сообщений из 46, страница 1 из 2
DataStage vs C
    #37908239
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Доброе утро коллеги!
Есть такая проблема.
Создал на С простенькую программу по заливке blob файлов в db2, скомпилил, скопировал в /bin. Запускаю в командной строке db2load KF, все отлично работает.
Теперь пробую ту же команду запустить через DataStage Wrapper stage, валиться, с появлением ошибки в Director Client:
db2import_0,0: Wrapped Unix command 'db2load KF' terminated with error, exit code 1.db2import_0

Что делать? Куда копать? По гуглил, не помогло.

Спасибо большое!
...
Рейтинг: 0 / 0
DataStage vs C
    #37908402
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Приветствую.
Из под кого запускаете свою команду когда она работает?
Что будет, если сделать так:
- Зайти как dsadm (движок под кем работает)
- Применить . ./dsenv
- Вызвать вашу программу... Работает?
...
Рейтинг: 0 / 0
DataStage vs C
    #37908548
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Hunterik,

Здравствуйте, здравствуйте!
Пробовал не помогло.
Притом когда вместо db2load KF пишу ls -la, то все отрабатывает на Ура.
...
Рейтинг: 0 / 0
DataStage vs C
    #37908582
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что значит не помогло?..
Видимо, я неправильно выразился...
Вы пользователем dsadm после указанных действий свою программку из shell толкните - сработает или нет?
...
Рейтинг: 0 / 0
DataStage vs C
    #37908692
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HunterikЧто значит не помогло?..
Видимо, я неправильно выразился...
Вы пользователем dsadm после указанных действий свою программку из shell толкните - сработает или нет?

Абсолютно верно!
...
Рейтинг: 0 / 0
DataStage vs C
    #37908702
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadipok,

Так работает.
...
Рейтинг: 0 / 0
DataStage vs C
    #37909004
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хм...
Напишите скрипт...

#!/bin/bash
db2load KF > /dev/null

И дёрните его из Wrapper stage.
...
Рейтинг: 0 / 0
DataStage vs C
    #37909011
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Даже так...

#!/bin/bash
db2load KF > /dev/null 2>&1

А потом попробуйте поубирать в скрипте опции перенаправления, честно, есть лишь предположение...
...
Рейтинг: 0 / 0
DataStage vs C
    #37909888
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HunterikДаже так...

#!/bin/bash
db2load KF > /dev/null 2>&1

А потом попробуйте поубирать в скрипте опции перенаправления, честно, есть лишь предположение...

Доброе утро!
Выполнил как вы просили, валиться с ошибкой:
db2LoadTest3_0,0: Wrapped Unix command 'db2load_line' terminated with error, exit code 1.db2LoadTest3_0
...
Рейтинг: 0 / 0
DataStage vs C
    #37910078
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Во сколько нод работает задание в котором этот стейдж?
...
Рейтинг: 0 / 0
DataStage vs C
    #37910080
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Из директора выгрузите лог with details. Print to file...
...
Рейтинг: 0 / 0
DataStage vs C
    #37910257
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HunterikВо сколько нод работает задание в котором этот стейдж?
Не совсем понял вопрос.
...
Рейтинг: 0 / 0
DataStage vs C
    #37910305
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HunterikИз директора выгрузите лог with details. Print to file...

Извиняюсь конечно, может это тупой ответ. ))
Но данной волшебной кнопочки не нашел в Director.
...
Рейтинг: 0 / 0
DataStage vs C
    #37910451
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Да просто там не очевидно...
Project -> Print -> (All entries & Full deatails), стоя на задании или в его логе.
...
Рейтинг: 0 / 0
DataStage vs C
    #37910500
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HunterikДа просто там не очевидно...
Project -> Print -> (All entries & Full deatails), стоя на задании или в его логе.


DataStage Report - Detail Log for job: db2LoadTest4
Produced on: 09.08.2012 15:22:03
Project: TestProject
Host system: STEND-ITFPK4.APLANA.COM
Items: 1 - 21
Sorted on: Date Sorter

Item #: 1
Event ID: 0
Timestamp: 2012-08-09 05:18:15
Type: Reset
User Name: dsadm
Message Id: IIS-DSTAGE-REP-I-0065
Message: Log cleared by user

Item #: 2
Event ID: 1
Timestamp: 2012-08-09 05:19:52
Type: Control
User Name: dsadm
Message Id: IIS-DSTAGE-RUN-I-0070
Message: Starting Job db2LoadTest4.

Item #: 3
Event ID: 2
Timestamp: 2012-08-09 05:19:52
Type: Info
User Name: dsadm
Message Id: IIS-DSTAGE-RUN-I-0126
Message: Environment variable settings:
_=/usr/bin/nohup
APT_COMPILEOPT=-O -fPIC -Wno-deprecated -c -m64 -mtune=generic -mcmodel=small
APT_COMPILER=g++
APT_CONFIG_FILE=/opt/IBM/InformationServer/Server/Configurations/default.apt
APT_ERROR_CONFIGURATION=severity, !vseverity, !jobid, moduleid, errorIndex, timestamp, !ipaddr, !nodeplayer, !nodename, opid, message
APT_LINKER=g++
APT_LINKOPT=-shared -m64
APT_MONITOR_MINTIME=10
APT_NO_ONE_NODE_COMBINING_OPTIMIZATION=1
APT_OPERATOR_REGISTRY_PATH=/opt/IBM/InformationServer/Server/Projects/TestProject/buildop
APT_ORCHHOME=/opt/IBM/InformationServer/Server/PXEngine
ASBHOME=/opt/IBM/InformationServer/ASBNode
BELL=^G
CONSOLE=/dev/pts/0
DB2INSTANCE=db2inst1
DS_ENABLE_RESERVED_CHAR_CONVERT=0
DS_OPERATOR_BUILDOP_DIR=buildop
DS_OPERATOR_WRAPPED_DIR=wrapped
DS_OPTIMIZE_FILE_BROWSE=0
DS_TDM_PIPE_OPEN_TIMEOUT=720
DS_TDM_TRACE_SUBROUTINE_CALLS=0
DS_USERNO=-32060
DSHOME=/opt/IBM/InformationServer/Server/DSEngine
DSIPC_OPEN_TIMEOUT=30
DSRPCD_PORT_NUMBER=31538
FLAVOR=-1
HOME=/home/dsadm
INIT_VERSION=sysvinit-2.86
ISFSHMID=29622298
ISUSER=wasadmin
LANG=en_US.UTF-8
LD_LIBRARY_PATH=/opt/IBM/InformationServer/Server/Projects/TestProject/RT_BP20.O:/opt/IBM/InformationServer/Server/DSComponents/lib:/opt/IBM/InformationServer/Server/DSComponents/bin:/opt/IBM/InformationServer/Server/DSParallel:/opt/IBM/InformationServer/Server/PXEngine/user_lib:/opt/IBM/InformationServer/Server/PXEngine/lib:/opt/IBM/InformationServer/Server/Projects/TestProject/buildop:/opt/IBM/InformationServer/Server/branded_odbc/lib:/opt/IBM/InformationServer/Server/DSEngine/lib:/opt/IBM/InformationServer/Server/DSEngine/uvdlls:/opt/IBM/InformationServer/ASBNode/apps/jre/bin:/opt/IBM/InformationServer/ASBNode/apps/jre/bin/classic:/opt/IBM/InformationServer/ASBNode/lib/cpp:/opt/IBM/InformationServer/ASBNode/apps/proxy/cpp/linux-all-x86_64:/opt/ibm/db2/V9.7/lib64/:/usr/lib:.:/lib
LOGNAME=dsadm
ODBCINI=/opt/IBM/InformationServer/Server/DSEngine/.odbc.ini
OLDPWD=/
OSH_STDOUT_MSG=1
PATH=/opt/IBM/InformationServer/Server/Projects/TestProject/wrapped:/opt/IBM/InformationServer/Server/Projects/TestProject/buildop:/opt/IBM/InformationServer/Server/Projects/TestProject/RT_BP20.O:/opt/IBM/InformationServer/Server/DSComponents/lib:/opt/IBM/InformationServer/Server/DSComponents/bin:/opt/IBM/InformationServer/Server/DSParallel:/opt/IBM/InformationServer/Server/PXEngine/user_osh_wrappers:/opt/IBM/InformationServer/Server/PXEngine/osh_wrappers:/opt/IBM/InformationServer/Server/PXEngine/bin:/sbin:/usr/sbin:/bin:/usr/bin:/usr/kerberos/bin:/usr/local/bin:/usr/X11R6/bin:.
PIDTOK=31997
PREVLEVEL=N
PWD=/opt/IBM/InformationServer/Server/DSEngine
PX_DBCONNECTHOME=/opt/IBM/InformationServer/Server/DSComponents
previous=N
RUNLEVEL=5
runlevel=5
SELINUX_INIT=YES
SHELL=/bin/ksh
SHLVL=3
TERM=
UDTBIN=/opt/IBM/InformationServer/Server/DSEngine/ud41/bin
UDTHOME=/opt/IBM/InformationServer/Server/DSEngine/ud41
USER=dsadm
WHO=TestProject

Item #: 4
Event ID: 3
Timestamp: 2012-08-09 05:19:52
Type: Info
User Name: dsadm
Message Id: IIS-DSTAGE-RUN-I-0121
Message: Parallel job initiated

Item #: 5
Event ID: 4
Timestamp: 2012-08-09 05:19:52
Type: Info
User Name: dsadm
Message Id: IIS-DSTAGE-RUN-I-0133
Message: Parallel job default NLS map UTF-8, default locale OFF

Item #: 6
Event ID: 5
Timestamp: 2012-08-09 05:19:52
Type: Info
User Name: dsadm
Message Id: IIS-DSEE-TFCN-00001
Message: main_program: IBM InfoSphere DataStage Enterprise Edition 8.7.0.6126
Copyright (c) 2001, 2005-2011 IBM Corporation. All rights reserved

Item #: 7
Event ID: 6
Timestamp: 2012-08-09 05:19:52
Type: Info
User Name: dsadm
Message Id: IIS-DSEE-TFCN-00006
Message: main_program: conductor uname: -s=Linux; -r=2.6.18-238.el5; -v=#1 SMP Thu Jan 13 15:51:15 EST 2011; -n=stend-itfpk4.aplana.com; -m=x86_64

Item #: 8
Event ID: 7
Timestamp: 2012-08-09 05:19:52
Type: Info
User Name: dsadm
Message Id: IIS-DSEE-TOSH-00002
Message: main_program: orchgeneral: loaded
orchsort: loaded
orchstats: loaded

Item #: 9
Event ID: 8
Timestamp: 2012-08-09 05:19:53
Type: Info
User Name: dsadm
Message Id: IIS-DSEE-TFSC-00001
Message: main_program: APT configuration file: /opt/IBM/InformationServer/Server/Configurations/default.apt
{
node "node1"
{
fastname "stend-itfpk4.aplana.com"
pools ""
resource disk "/opt/IBM/InformationServer/Server/Datasets" {pools ""}
resource scratchdisk "/opt/IBM/InformationServer/Server/Scratch" {pools ""}
}
node "node2"
{
fastname "stend-itfpk4.aplana.com"
pools ""
resource disk "/opt/IBM/InformationServer/Server/Datasets" {pools ""}
resource scratchdisk "/opt/IBM/InformationServer/Server/Scratch" {pools ""}
}
}

Item #: 10
Event ID: 9
Timestamp: 2012-08-09 05:19:53
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFSO-00147
Message: db2LoadTest3_0,0: Wrapped Unix command 'db2load_line' terminated with error, exit code 1.db2LoadTest3_0

Item #: 11
Event ID: 10
Timestamp: 2012-08-09 05:19:53
Type: Warning
User Name: dsadm
Message Id: IIS-DSEE-TFSU-00190
Message: db2LoadTest3_0,0: subprocess failed with exit code 1,db2LoadTest3_0

Item #: 12
Event ID: 11
Timestamp: 2012-08-09 05:19:53
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFOR-00089
Message: db2LoadTest3_0,0: The runLocally() of the operator failed.

Item #: 13
Event ID: 12
Timestamp: 2012-08-09 05:19:53
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFPM-00040
Message: db2LoadTest3_0,0: Operator terminated abnormally: runLocally() did not return APT_StatusOk

Item #: 14
Event ID: 13
Timestamp: 2012-08-09 05:19:53
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFSO-00147
Message: db2LoadTest3_0,1: Wrapped Unix command 'db2load_line' terminated with error, exit code 1.db2LoadTest3_0

Item #: 15
Event ID: 14
Timestamp: 2012-08-09 05:19:53
Type: Warning
User Name: dsadm
Message Id: IIS-DSEE-TFSU-00190
Message: db2LoadTest3_0,1: subprocess failed with exit code 1,db2LoadTest3_0

Item #: 16
Event ID: 15
Timestamp: 2012-08-09 05:19:53
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFOR-00089
Message: db2LoadTest3_0,1: The runLocally() of the operator failed.

Item #: 17
Event ID: 16
Timestamp: 2012-08-09 05:19:54
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFPM-00040
Message: db2LoadTest3_0,1: Operator terminated abnormally: runLocally() did not return APT_StatusOk

Item #: 18
Event ID: 17
Timestamp: 2012-08-09 05:19:59
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFPM-00192
Message: node_node2: Player 1 terminated unexpectedly.

Item #: 19
Event ID: 18
Timestamp: 2012-08-09 05:19:59
Type: Fatal
User Name: dsadm
Message Id: IIS-DSEE-TFSC-00011
Message: main_program: Step execution finished with status = FAILED.

Item #: 20
Event ID: 19
Timestamp: 2012-08-09 05:19:59
Type: Info
User Name: dsadm
Message Id: IIS-DSEE-TCOS-00026
Message: main_program: Startup time, 0:05; production run time, 0:01.

Item #: 21
Event ID: 20
Timestamp: 2012-08-09 05:19:59
Type: Control
User Name: dsadm
Message Id: IIS-DSTAGE-RUN-I-0075
Message: Job db2LoadTest4 aborted.

End of report.
...
Рейтинг: 0 / 0
DataStage vs C
    #37910530
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Можно попробовать запустить ваше задание в одну ноду, либо ограничить сам оператор...
I. Конфиг.
1. Сделайте такой вот конфиг:
{
node "node1"
{
fastname "stend-itfpk4.aplana.com"
pools ""
resource disk "/opt/IBM/InformationServer/Server/Datasets" {pools ""}
resource scratchdisk "/opt/IBM/InformationServer/Server/Scratch" {pools ""}
}
}

2. Добавьте на уровне задания переменную окружения $APT_CONFIG_FILE и укажите в ней этот конфиг.

II. Оператор. Перегенерите с опцией Exectuion Mode = Sequential Only.
...
Рейтинг: 0 / 0
DataStage vs C
    #37910911
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HunterikМожно попробовать запустить ваше задание в одну ноду, либо ограничить сам оператор...
I. Конфиг.
1. Сделайте такой вот конфиг:
{
node "node1"
{
fastname "stend-itfpk4.aplana.com"
pools ""
resource disk "/opt/IBM/InformationServer/Server/Datasets" {pools ""}
resource scratchdisk "/opt/IBM/InformationServer/Server/Scratch" {pools ""}
}
}

2. Добавьте на уровне задания переменную окружения $APT_CONFIG_FILE и укажите в ней этот конфиг.

II. Оператор. Перегенерите с опцией Exectuion Mode = Sequential Only.

Все сделал как вы написали, к сожалению ошибка повторяется. (
...
Рейтинг: 0 / 0
DataStage vs C
    #37910915
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadipok,

Может попробовать переписать мою команду на С++?
...
Рейтинг: 0 / 0
DataStage vs C
    #37910928
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Но при этом из командной строки из под dsadm с применённым профайлом dsenv работает???
Как устроена ваша программа? Что требует на вход, что пишет на выходе, куда обращается?
Выгрузите задание DataStage и стейджик в dsx файл и сюда - секретов нет?
...
Рейтинг: 0 / 0
DataStage vs C
    #37913645
vadipok
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
HunterikНо при этом из командной строки из под dsadm с применённым профайлом dsenv работает???
Как устроена ваша программа? Что требует на вход, что пишет на выходе, куда обращается?
Выгрузите задание DataStage и стейджик в dsx файл и сюда - секретов нет?

Да она вообще простинькая.
На вход подается название базы, на выход ничего нет.
Обычный вызов системных команд, типа:
system("db2 connect .....")
system("db2 load/export .....")
Вместо система может быть другая команда, которая выполняет вызов системных команд из под Си.
Точный текст пока не смогу предоставить, я не на рабочем месте.
Спасибо!
...
Рейтинг: 0 / 0
DataStage vs C
    #37913701
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну тогда вроде понятно...
Должно вам помочь следующее:
1. vi dsenv
2. дописываем в конец что-то вроде:
PATH=$PATH:/opt/IBM/db2/V9/bin
export PATH
...или где там у вас db2 команда находится, либы вы уже прописывали, так что на опыте...
3. . ./dsenv
4. bin/uv -admin -stop
bin/uv -admin -start

Мне по крайней мере помогло, а было так:
1. $ cat ~/testik/testik.c
#include <stdlib.h>

int main()
{
int retv;
// retv = system("ls -l /tmp");
retv = system("db2 connect to sample user dsadm using password");
return retv;
}
$ gcc testik.c -o testik
2. testik_0,0: sh: db2: command not found
3. Добавил указанные выше строки в dsenv, рестартанул движок, попробовал и:
testik_0,0: Database Connection Information
Database server = DB2/LINUXX8664 9.7.4
SQL authorization ID = DSADM
Local database alias = SAMPLE

Если это вам поможет, значит вы для dsadm в его собственный профайл вносили какие-то изменения, раз из командной строки работало, а из под движка нет (например, прописывали вызов db2profile в .profile)...

Я обычно этого пользователя никак не трогаю - так проще отлавливать ошибки. Если что-то из shell руками не толкнулось, то не толкнется и из под движка.
...
Рейтинг: 0 / 0
DataStage vs C
    #37913711
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если вдруг это не поможет - попробуйте мою простую программку.
Если будет работать - добавляйте команды, пока не упрётесь...
А вообще, system()... Она же под собой интерпретатор запускает... fork()+exec() поблагороднее будет. Ну это так. =)
...
Рейтинг: 0 / 0
DataStage vs C
    #37913817
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
автор db2load KF

а KF это что?

эксит соде 1 это что

авторSIGHUP 1 Term Hangup detected on controlling terminal
or death of controlling process


может
noput db2load KF
нужно написать?
...
Рейтинг: 0 / 0
DataStage vs C
    #37913819
Фотография Новый Год
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
nohup db2load KF
...
Рейтинг: 0 / 0
DataStage vs C
    #37913827
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
vadipok, а зачем вы вообще решили выполнять столь специфические действия из wrapper stage?
Может, просто из сиквенса вызывать вашу программу? Это не исправит текущую ситуацию, она также не будет сейчас запускаться скорее всего, просто как-то логичнее будет, что ли...
...
Рейтинг: 0 / 0
25 сообщений из 46, страница 1 из 2
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / DataStage vs C
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]