ReSQL.ru
     
powered by simpleCommunicator - 2.0.59     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Проблемы с db2 load (bulk insert)
4 сообщений из 4, страница 1 из 1
Проблемы с db2 load (bulk insert)
    #38186284
HiSnake
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HiSnake
Гость
Добрый день!


Есть странная проблема - на DataStage стоит на расписание несколько job'ов, которые ежедневно заливают через bulk load данные в несколько таблиц одновременно. Все нормально работало. Неделю назад случилось странное - job'ы стали дико тормозит на этапе предваряющий заливку. Причем число записей минимально - около 10-15 штук. Тест на самом сервере DB2 через несколько параллельных запусков db2 load в тестовые таблички без индексов дает такую же картину - load'ы тупо висят по 10-15 минут потом с интервалом выполняются. Подскажите куда копать. Заранее спасибо.

DB2 9.7
...
Рейтинг: 0 / 0
15.03.2013, 20:33
| Ответить | Цитировать | Написать  
Проблемы с db2 load (bulk insert)
    #38187205
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hunterik
Участник
Здравствуйте, а что значит "load'ы тупо висят" и "этап предваряющий заливку"?
Что утилита делает?
Что показывает LIST UTILITIES SHOW DETAIL в момент отсутствия загрузки?
Может, утилите мешают другие приложения?
Что у вас в db2diag.log?
Какая платформа и версия db2?
...
Рейтинг: 0 / 0
17.03.2013, 15:34
| Ответить | Цитировать | Написать  
Проблемы с db2 load (bulk insert)
    #38188245
HiSnake
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
HiSnake
Гость
Добрый день еще раз )

Вобщем вот данные с тестовой заливки - были созданы 4 sh файла, и одновременно запущенны в 4 разных сессиях. В каждом из них заливка в свою пустую табличку без индексов 4 полей размером 256 символов (льем всего!!! 40 записей), и вывод времени начала и конца работы в файл mon_ins_N.txt.
Содержимое sh-файла N_test.sh:
 

#!/bin/ksh
#######################################################################################

db2 connect to TSTDB

StartDT=$(date +%d/%m/%Y-%H:%M:%S)

echo "Load start" >> mon_ins_1.txt

db2 load from ./MON_INS_1.ixf of ixf messages ./MON_INS_1.msgs insert into TST.MON_INS1

EndDT=$(date +%d/%m/%Y-%H:%M:%S)

echo $StartDT" "$EndDT >> mon_ins_1.txt


Содержимое файла времени заливки mon_ins_N.txt:
 

Load start 1
18/03/2013-15:47:53 18/03/2013-15:49:30

Load start 2
18/03/2013-15:47:54 18/03/2013-15:52:39

Load start 3
18/03/2013-15:47:54 18/03/2013-15:51:05

Load start 4
18/03/2013-15:47:55 18/03/2013-15:54:14


Логи сервера:
 

2013-03-18-15.47.53.227981+240 I354161172A469 LEVEL: Warning
PID : 63439028 TID : 38311 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1933 APPID: *LOCAL.userins.130318114753
AUTHID : TST
EDUID : 38311 EDUNAME: db2agent (TSTDB) 0
FUNCTION: DB2 UDB, database utilities, sqluvtld_route_in, probe:839
DATA #1 : <preformatted>
Starting LOAD operation (S) (3) (I).

2013-03-18-15.47.53.910628+240 I354161642A556 LEVEL: Warning
PID : 63439028 TID : 32513 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1933 APPID: *LOCAL.userins.130318114753
AUTHID : TST
EDUID : 32513 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 128 bytes
LOADID: 38311.2013-03-18-15.47.53.227966.0 (3;1683)
Starting LOAD phase at 03/18/2013 15:47:53.800944. Table TST .MON_INS1

2013-03-18-15.47.54.076928+240 I354162199A469 LEVEL: Warning
PID : 63439028 TID : 37542 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1934 APPID: *LOCAL.userins.130318114754
AUTHID : TST
EDUID : 37542 EDUNAME: db2agent (TSTDB) 0
FUNCTION: DB2 UDB, database utilities, sqluvtld_route_in, probe:839
DATA #1 : <preformatted>
Starting LOAD operation (S) (3) (I).

2013-03-18-15.47.54.689884+240 I354162669A533 LEVEL: Warning
PID : 63439028 TID : 32513 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1933 APPID: *LOCAL.userins.130318114753
AUTHID : TST
EDUID : 32513 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 105 bytes
LOADID: 38311.2013-03-18-15.47.53.227966.0 (3;1683)
Completed LOAD phase at 03/18/2013 15:47:54.620727.

2013-03-18-15.47.54.689884+240 I354163203A556 LEVEL: Warning
PID : 63439028 TID : 33284 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1934 APPID: *LOCAL.userins.130318114754
AUTHID : TST
EDUID : 33284 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 128 bytes
LOADID: 37542.2013-03-18-15.47.54.076916.0 (3;1684)
Starting LOAD phase at 03/18/2013 15:47:54.575726. Table TST .MON_INS2

2013-03-18-15.47.54.961862+240 I354163760A469 LEVEL: Warning
PID : 63439028 TID : 35984 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1935 APPID: *LOCAL.userins.130318114755
AUTHID : TST
EDUID : 35984 EDUNAME: db2agent (TSTDB) 0
FUNCTION: DB2 UDB, database utilities, sqluvtld_route_in, probe:839
DATA #1 : <preformatted>
Starting LOAD operation (S) (3) (I).

2013-03-18-15.47.55.377240+240 I354164230A533 LEVEL: Warning
PID : 63439028 TID : 33284 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1934 APPID: *LOCAL.userins.130318114754
AUTHID : TST
EDUID : 33284 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 105 bytes
LOADID: 37542.2013-03-18-15.47.54.076916.0 (3;1684)
Completed LOAD phase at 03/18/2013 15:47:55.306295.

2013-03-18-15.47.55.617651+240 I354164764A556 LEVEL: Warning
PID : 63439028 TID : 32519 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1935 APPID: *LOCAL.userins.130318114755
AUTHID : TST
EDUID : 32519 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 128 bytes
LOADID: 35984.2013-03-18-15.47.54.961848.0 (3;1686)
Starting LOAD phase at 03/18/2013 15:47:55.489361. Table TST .MON_INS3

2013-03-18-15.47.55.903356+240 I354165321A469 LEVEL: Warning
PID : 63439028 TID : 36241 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1936 APPID: *LOCAL.userins.130318114756
AUTHID : TST
EDUID : 36241 EDUNAME: db2agent (TSTDB) 0
FUNCTION: DB2 UDB, database utilities, sqluvtld_route_in, probe:839
DATA #1 : <preformatted>
Starting LOAD operation (S) (3) (I).

2013-03-18-15.47.56.286387+240 I354165791A533 LEVEL: Warning
PID : 63439028 TID : 32519 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1935 APPID: *LOCAL.userins.130318114755
AUTHID : TST
EDUID : 32519 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 105 bytes
LOADID: 35984.2013-03-18-15.47.54.961848.0 (3;1686)
Completed LOAD phase at 03/18/2013 15:47:56.224164.

2013-03-18-15.47.56.515318+240 I354166325A556 LEVEL: Warning
PID : 63439028 TID : 32522 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1936 APPID: *LOCAL.userins.130318114756
AUTHID : TST
EDUID : 32522 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 128 bytes
LOADID: 36241.2013-03-18-15.47.55.903343.0 (3;1681)
Starting LOAD phase at 03/18/2013 15:47:56.379108. Table TST .MON_INS4

2013-03-18-15.47.57.279492+240 I354166882A533 LEVEL: Warning
PID : 63439028 TID : 32522 PROC : db2sysc 0
INSTANCE: userins NODE : 000 DB : TSTDB
APPHDL : 0-1936 APPID: *LOCAL.userins.130318114756
AUTHID : TST
EDUID : 32522 EDUNAME: db2lfrm0 0
FUNCTION: DB2 UDB, database utilities, sqlulPrintPhaseMsg, probe:314
DATA #1 : String, 105 bytes
LOADID: 36241.2013-03-18-15.47.55.903343.0 (3;1681)
Completed LOAD phase at 03/18/2013 15:47:57.200989.


ОС: AIX 6.1
DB: DB29.7

Странно, что такое ничтожное количество записей заливается (такое ощущение) что последовательно, а во вторых даже если и так, то время заливки какое-то сумасшедшее. Если нужна еще какая либо информация - предоставлю. Так же буду благодарен, за поворот моей головы - куда копать )) Ну или смотреть )
...
Рейтинг: 0 / 0
18.03.2013, 16:18
| Ответить | Цитировать | Написать  
Проблемы с db2 load (bulk insert)
    #38188518
Фотография Hunterik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Hunterik
Участник
Ну, если верить логу, load'ы у вас заканчиваются очень быстро...
Самый поздний: "Completed LOAD phase at 03/18/2013 15:47:57.200989."
Может, попробовать EVENT MONITOR на таблицу настроить?
Я бы на базу навешал разных мониторов - посмотреть, что да как...
Плюс, можно повысить уровень сбора информации в db2diag (diaglevel).
И можно глянуть на конфиги базы (db2 get db cfg for ... )?
...
Рейтинг: 0 / 0
18.03.2013, 18:06
| Ответить | Цитировать | Написать  
4 сообщений из 4, страница 1 из 1
Форумы / IBM DB2, WebSphere, IMS, U2 [игнор отключен] [закрыт для гостей] / Проблемы с db2 load (bulk insert)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]