powered by simpleCommunicator - 2.0.57     © 2025 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / ASE 15.0 загрузка больших таблиц bcp
8 сообщений из 8, страница 1 из 1
ASE 15.0 загрузка больших таблиц bcp
    #36904801
_Drive_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Всем привет

В процессе перехода с ASE12 на ASE15 столкнулись с такой вот проблемой ... надо перезалить данные со старого на новый сервер, есть такая таблица в которой >69млн. записей, так вот она загружается больше 26 ЧАСОВ!! как нам кажется все что нужно для fast bcp мы сделали, а именно у это таблицы нет индексов (даже PK), у ДБ установлено 'select into/bulkcopy/pllsort, trunc log on chkpt, abort tran on full log', select @@version = Adaptive Server Enterprise/15.0/EBF 12783 GA/P/NT (IX86)/Windows 2000/ase150/2158/32-bit/OPT/Fri Aug 19 18:42:50 2005.
Пробовали загружать одной операцией с разными параметрами - bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -b10000 -t -r (сначала запускали без -A -b) потом решили загружать порциями по 10млн. bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F1 -L10000000 -b10000 -t -r .... первая порция 6000 rows per sec, вторая порция - 1500, третья порция 845 и т,д, чем дальше тем хуже .....
Что посоветуете? где подкрутить? может между загрузкой порций делать 'dump tran ... with no_log'
...
Рейтинг: 0 / 0
ASE 15.0 загрузка больших таблиц bcp
    #36905029
Фотография MasterZiv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
On 18.10.2010 13:36, _Drive_ wrote:

Ну для такой большой таблицы 26 часов может и не очень много.
Рекомендую только ещё раз проверить, используется ли fast bcp.
По идее там режим должен писаться. Таблица должна быть абсолютно
без констрейнтов и триггеров. + 'select into' на БД стоять.

> первая порция 6000 rows per sec, вторая порция - 1500, третья порция 845 и т,д,
> чем дальше тем хуже .....

Странно. Должно линейно идти. Т,е. одинаково.

> Что посоветуете? где подкрутить? может между загрузкой порций делать 'dump tran
> ... with no_log'

Оно само делается.
Posted via ActualForum NNTP Server 1.4
...
Рейтинг: 0 / 0
ASE 15.0 загрузка больших таблиц bcp
    #36905110
_Drive_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Однако факты говорят другое ... вот пример BAT файла
bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F1 -L 10000000 -b10000 -t -r >>out1.log
time /T >>out1.log
bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F10000001 -L 20000000 -b10000 -t -r >>out1.log
time /T >>out1.log
bcp %DATABASE%..RD_ARCHIVE_2002 in data\RD_ARCHIVE.dat -S%SERVER% -U%UID% -P%PWD% -c -A16384 -F20000001 -L30000000 -b10000 -t -r >>out1.log
time /T >>out1.log
......... и т.д.
из файла out1.log ... первая запись еще ВЧЕРА!!!
12:38
load - RD_ARCHIVE_2002
Starting copy...
10000000 rows copied.
Clock Time (ms.): total = 1648172 Avg = 0 (6067.33 rows per sec.)
13:06
Starting copy...
10000000 rows copied.
Clock Time (ms.): total = 6461688 Avg = 0 (1547.58 rows per sec.)
14:53
Starting copy...
10000000 rows copied.
Clock Time (ms.): total = 11825609 Avg = 1 (845.62 rows per sec.)
18:10
Starting copy...
10000000 rows copied.
Clock Time (ms.): total = 13720437 Avg = 1 (728.84 rows per sec.)
21:59
Starting copy...
10000000 rows copied.
Clock Time (ms.): total = 19078812 Avg = 1 (524.14 rows per sec.)
03:17
Starting copy...
И ДО СИХ ПОР ЕЩЕ ИДЕТ ЗАГРУЗКА!!!
...
Рейтинг: 0 / 0
ASE 15.0 загрузка больших таблиц bcp
    #36905214
blzz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
чем дальше в лес, тем больше времени тратится на чтение данных которые надо пропустить.
а записи-в-сек считаются из расчета времени работы команды и кол-ва действительно отправленных данных.
...
Рейтинг: 0 / 0
ASE 15.0 загрузка больших таблиц bcp
    #36905259
_Drive_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Сорри не углядел ...
у таблицы был primary key clustered ... удалил, запустил загрузку заново
...
Рейтинг: 0 / 0
ASE 15.0 загрузка больших таблиц bcp
    #36905292
_Drive_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Ура!
вот теперь результат "правильный"!!! примерно 45000 rows per sec (1 step 48000, 2 step 43000...)
Убрал загрузку порциями (т.е. теперь ОДНОЙ операцией) и запустил ... о результатах доложу
...
Рейтинг: 0 / 0
ASE 15.0 загрузка больших таблиц bcp
    #36905333
blzz
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
меня этот ключ -A16384 поражает.
это похлеще чем модные ныне jumbo-frames .
...
Рейтинг: 0 / 0
ASE 15.0 загрузка больших таблиц bcp
    #36905581
_Drive_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Результат...

69807367 rows copied.
Clock Time (ms.): total = 1592750 Avg = 0 (43828.20 rows per sec.)

т.е. 27 мин. вполне приемлимо!!!
...
Рейтинг: 0 / 0
8 сообщений из 8, страница 1 из 1
Форумы / Sybase ASA, ASE, IQ [игнор отключен] [закрыт для гостей] / ASE 15.0 загрузка больших таблиц bcp
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]