powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / и опять - как ускорить вставку?
11 сообщений из 11, страница 1 из 1
и опять - как ускорить вставку?
    #38606587
Квази
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Эксперимента ради ibpump-ом перегоняю записи из одной базы в другую. Таблиц копирую две, примерно по 16-17 млн. записей в каждой. Таблицы простые, по 6-7 полей int/varchar/date, триггеры отключены, source Win1251, target - UTF8. Но что-то долго идет копирование, уже около 12 часов (первая скопировалась полностью, у второй около 40%). Машина - 2*8 XEON, 16 RAM, диски SAS. Source правда лежит на том же диске, что и FB-шный Temp Directory. Taskman показывает, что около 50% RAM свободно. perfmon показывает высокие показатели всего, что связано с записью на диск. FB - 2.5.2W Classic. Вообще сервер рабочий, с повседневной нагрузкой (около 500 подключений) справляется нормально. Операция копирования одноразовая, но просто интересно как ее можно ускорить.
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606599
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Квази,

1) индексы на приёмнике вЫключены ли ?
2) FW приёмника = ON / OFF ?
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606605
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606675
Квази
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидКвази,

1) индексы на приёмнике вЫключены ли ?
2) FW приёмника = ON / OFF ?

FW - off.
Индексы были включены (всегда думал, что ibpump их отключает). Вставка значительно ускорилась. Спасибо.

Dimitry Sibiryakov ...

RAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках), NTFS, обе базы лежат на несистемных и не swap-дисках (но source лежит на том же диске, что и FB-шный Temp directory). В conf изменены только два параметра - темп и DefaultDbCachePages (256). Win2008/64 не в виртуалке, FB тоже 64. Source около 6 гигов, размер страницы у обеих баз - 8192.
P.S. В принципе отключение индексов дало значительный прирост, но может можно будет выжать что-то еще.
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606739
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Квазиотключение индексов дало значительный прирост, но может можно будет выжать что-то еще.1) С какой частотой ibpump делает commit'ы ? А то тут прокакивало недавно кое-что... про MaxUnflushed* (и я, каюсь, так и не понимаю до сих пор: то ли его надо на винде ставить в -1, то ли в пределах от 1 до 10;
2) попробуйте поставить FileSystemCacheSize = 50...60 (дефолтное значение = 30%, а у вас "Taskman показывает, что около 50% RAM свободно");
3) точно ли отключены ВСЕ индексы, в т.ч. и те, что обеспечивают на таргете PK / FK ? Отключены ли там также check'и на таблицах ?
4) можете ли запулить этот памп на SuperServer'e ?
5) точно ли вам нужна кодировка utf8 на таргете ? или ради неё всё и затеяно ?
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606786
Фотография Gallemar
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
RAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках) - это как?
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606812
Квази
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидКвазиотключение индексов дало значительный прирост, но может можно будет выжать что-то еще.1) С какой частотой ibpump делает commit'ы ? А то тут прокакивало недавно кое-что... про MaxUnflushed* (и я, каюсь, так и не понимаю до сих пор: то ли его надо на винде ставить в -1, то ли в пределах от 1 до 10;
2) попробуйте поставить FileSystemCacheSize = 50...60 (дефолтное значение = 30%, а у вас "Taskman показывает, что около 50% RAM свободно");
3) точно ли отключены ВСЕ индексы, в т.ч. и те, что обеспечивают на таргете PK / FK ? Отключены ли там также check'и на таблицах ?
4) можете ли запулить этот памп на SuperServer'e ?
5) точно ли вам нужна кодировка utf8 на таргете ? или ради неё всё и затеяно ?
1. 10000 записей
2. попробую, но уже вечером. Рабочий день начался
3. чеков нет, индексы отключены все
4. машина рабочая, придется выкроить время как-нибудь.
5. да. 1251 не поддерживает символы нац. алфавита


GallemarRAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках) - это как?
Не совсем точно выразился. В сервере есть RAID массив 5, но базы лежат на дисках, которые в массив не включены.
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606906
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
13572644 bulk insert
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38606908
Фотография wadman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид, кстати bulk insert в тройке как работает?
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38607066
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
КвазиВ сервере есть RAID массив 5, но базы лежат на дисках, которые в массив не включены.Дал таксисту десятку а сам не сел? :)
...
Рейтинг: 0 / 0
и опять - как ускорить вставку?
    #38607150
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
wadmanТаблоид, кстати bulk insert в тройке как работает?Если ты про это , то не знаю. К тому же, эта фича "не официальная" вроде.
...
Рейтинг: 0 / 0
11 сообщений из 11, страница 1 из 1
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / и опять - как ускорить вставку?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]