Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
18.10.2010, 12:36
|
|||
---|---|---|---|
|
|||
ASE 15.0 загрузка больших таблиц bcp |
|||
#18+
Всем привет В процессе перехода с ASE12 на ASE15 столкнулись с такой вот проблемой ... надо перезалить данные со старого на новый сервер, есть такая таблица в которой >69млн. записей, так вот она загружается больше 26 ЧАСОВ!! как нам кажется все что нужно для fast bcp мы сделали, а именно у это таблицы нет индексов (даже PK), у ДБ установлено 'select into/bulkcopy/pllsort, trunc log on chkpt, abort tran on full log', select @@version = Adaptive Server Enterprise/15.0/EBF 12783 GA/P/NT (IX86)/Windows 2000/ase150/2158/32-bit/OPT/Fri Aug 19 18:42:50 2005. Пробовали загружать одной операцией с разными параметрами - bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -b10000 -t -r (сначала запускали без -A -b) потом решили загружать порциями по 10млн. bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F1 -L10000000 -b10000 -t -r .... первая порция 6000 rows per sec, вторая порция - 1500, третья порция 845 и т,д, чем дальше тем хуже ..... Что посоветуете? где подкрутить? может между загрузкой порций делать 'dump tran ... with no_log' ... |
|||
:
Нравится:
Не нравится:
|
|||
|
18.10.2010, 13:45
|
|||
---|---|---|---|
ASE 15.0 загрузка больших таблиц bcp |
|||
#18+
On 18.10.2010 13:36, _Drive_ wrote: Ну для такой большой таблицы 26 часов может и не очень много. Рекомендую только ещё раз проверить, используется ли fast bcp. По идее там режим должен писаться. Таблица должна быть абсолютно без констрейнтов и триггеров. + 'select into' на БД стоять. > первая порция 6000 rows per sec, вторая порция - 1500, третья порция 845 и т,д, > чем дальше тем хуже ..... Странно. Должно линейно идти. Т,е. одинаково. > Что посоветуете? где подкрутить? может между загрузкой порций делать 'dump tran > ... with no_log' Оно само делается. Posted via ActualForum NNTP Server 1.4 ... |
|||
:
Нравится:
Не нравится:
|
|||
|
18.10.2010, 14:10
|
|||
---|---|---|---|
|
|||
ASE 15.0 загрузка больших таблиц bcp |
|||
#18+
Однако факты говорят другое ... вот пример BAT файла bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F1 -L 10000000 -b10000 -t -r >>out1.log time /T >>out1.log bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F10000001 -L 20000000 -b10000 -t -r >>out1.log time /T >>out1.log bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F20000001 -L30000000 -b10000 -t -r >>out1.log time /T >>out1.log ......... и т.д. из файла out1.log ... первая запись еще ВЧЕРА!!! 12:38 load - RD_ARCHIVE_2002 Starting copy... 10000000 rows copied. Clock Time (ms.): total = 1648172 Avg = 0 (6067.33 rows per sec.) 13:06 Starting copy... 10000000 rows copied. Clock Time (ms.): total = 6461688 Avg = 0 (1547.58 rows per sec.) 14:53 Starting copy... 10000000 rows copied. Clock Time (ms.): total = 11825609 Avg = 1 (845.62 rows per sec.) 18:10 Starting copy... 10000000 rows copied. Clock Time (ms.): total = 13720437 Avg = 1 (728.84 rows per sec.) 21:59 Starting copy... 10000000 rows copied. Clock Time (ms.): total = 19078812 Avg = 1 (524.14 rows per sec.) 03:17 Starting copy... И ДО СИХ ПОР ЕЩЕ ИДЕТ ЗАГРУЗКА!!! ... |
|||
:
Нравится:
Не нравится:
|
|||
|
18.10.2010, 14:36
|
|||
---|---|---|---|
ASE 15.0 загрузка больших таблиц bcp |
|||
#18+
чем дальше в лес, тем больше времени тратится на чтение данных которые надо пропустить. а записи-в-сек считаются из расчета времени работы команды и кол-ва действительно отправленных данных. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
18.10.2010, 14:48
|
|||
---|---|---|---|
|
|||
ASE 15.0 загрузка больших таблиц bcp |
|||
#18+
Сорри не углядел ... у таблицы был primary key clustered ... удалил, запустил загрузку заново ... |
|||
:
Нравится:
Не нравится:
|
|||
|
18.10.2010, 14:57
|
|||
---|---|---|---|
|
|||
ASE 15.0 загрузка больших таблиц bcp |
|||
#18+
Ура! вот теперь результат "правильный"!!! примерно 45000 rows per sec (1 step 48000, 2 step 43000...) Убрал загрузку порциями (т.е. теперь ОДНОЙ операцией) и запустил ... о результатах доложу ... |
|||
:
Нравится:
Не нравится:
|
|||
|
18.10.2010, 15:05
|
|||
---|---|---|---|
ASE 15.0 загрузка больших таблиц bcp |
|||
#18+
меня этот ключ -A16384 поражает. это похлеще чем модные ныне jumbo-frames . ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=55&tablet=1&tid=2010506]: |
0ms |
get settings: |
8ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
81ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
48ms |
get tp. blocked users: |
1ms |
others: | 334ms |
total: | 504ms |
0 / 0 |