Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / и опять - как ускорить вставку? / 11 сообщений из 11, страница 1 из 1
06.04.2014, 19:06:41
    #38606587
Квази
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
Эксперимента ради ibpump-ом перегоняю записи из одной базы в другую. Таблиц копирую две, примерно по 16-17 млн. записей в каждой. Таблицы простые, по 6-7 полей int/varchar/date, триггеры отключены, source Win1251, target - UTF8. Но что-то долго идет копирование, уже около 12 часов (первая скопировалась полностью, у второй около 40%). Машина - 2*8 XEON, 16 RAM, диски SAS. Source правда лежит на том же диске, что и FB-шный Temp Directory. Taskman показывает, что около 50% RAM свободно. perfmon показывает высокие показатели всего, что связано с записью на диск. FB - 2.5.2W Classic. Вообще сервер рабочий, с повседневной нагрузкой (около 500 подключений) справляется нормально. Операция копирования одноразовая, но просто интересно как ее можно ускорить.
...
Рейтинг: 0 / 0
06.04.2014, 19:30:43
    #38606599
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
Квази,

1) индексы на приёмнике вЫключены ли ?
2) FW приёмника = ON / OFF ?
...
Рейтинг: 0 / 0
06.04.2014, 19:38:19
    #38606605
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
...
Рейтинг: 0 / 0
06.04.2014, 22:05:31
    #38606675
Квази
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
ТаблоидКвази,

1) индексы на приёмнике вЫключены ли ?
2) FW приёмника = ON / OFF ?

FW - off.
Индексы были включены (всегда думал, что ibpump их отключает). Вставка значительно ускорилась. Спасибо.

Dimitry Sibiryakov ...

RAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках), NTFS, обе базы лежат на несистемных и не swap-дисках (но source лежит на том же диске, что и FB-шный Temp directory). В conf изменены только два параметра - темп и DefaultDbCachePages (256). Win2008/64 не в виртуалке, FB тоже 64. Source около 6 гигов, размер страницы у обеих баз - 8192.
P.S. В принципе отключение индексов дало значительный прирост, но может можно будет выжать что-то еще.
...
Рейтинг: 0 / 0
06.04.2014, 23:26:56
    #38606739
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
Квазиотключение индексов дало значительный прирост, но может можно будет выжать что-то еще.1) С какой частотой ibpump делает commit'ы ? А то тут прокакивало недавно кое-что... про MaxUnflushed* (и я, каюсь, так и не понимаю до сих пор: то ли его надо на винде ставить в -1, то ли в пределах от 1 до 10;
2) попробуйте поставить FileSystemCacheSize = 50...60 (дефолтное значение = 30%, а у вас "Taskman показывает, что около 50% RAM свободно");
3) точно ли отключены ВСЕ индексы, в т.ч. и те, что обеспечивают на таргете PK / FK ? Отключены ли там также check'и на таблицах ?
4) можете ли запулить этот памп на SuperServer'e ?
5) точно ли вам нужна кодировка utf8 на таргете ? или ради неё всё и затеяно ?
...
Рейтинг: 0 / 0
07.04.2014, 04:01:03
    #38606786
Gallemar
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
RAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках) - это как?
...
Рейтинг: 0 / 0
07.04.2014, 07:07:25
    #38606812
Квази
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
ТаблоидКвазиотключение индексов дало значительный прирост, но может можно будет выжать что-то еще.1) С какой частотой ibpump делает commit'ы ? А то тут прокакивало недавно кое-что... про MaxUnflushed* (и я, каюсь, так и не понимаю до сих пор: то ли его надо на винде ставить в -1, то ли в пределах от 1 до 10;
2) попробуйте поставить FileSystemCacheSize = 50...60 (дефолтное значение = 30%, а у вас "Taskman показывает, что около 50% RAM свободно");
3) точно ли отключены ВСЕ индексы, в т.ч. и те, что обеспечивают на таргете PK / FK ? Отключены ли там также check'и на таблицах ?
4) можете ли запулить этот памп на SuperServer'e ?
5) точно ли вам нужна кодировка utf8 на таргете ? или ради неё всё и затеяно ?
1. 10000 записей
2. попробую, но уже вечером. Рабочий день начался
3. чеков нет, индексы отключены все
4. машина рабочая, придется выкроить время как-нибудь.
5. да. 1251 не поддерживает символы нац. алфавита


GallemarRAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках) - это как?
Не совсем точно выразился. В сервере есть RAID массив 5, но базы лежат на дисках, которые в массив не включены.
...
Рейтинг: 0 / 0
07.04.2014, 10:00:58
    #38606906
wadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
13572644 bulk insert
...
Рейтинг: 0 / 0
07.04.2014, 10:02:39
    #38606908
wadman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
Таблоид, кстати bulk insert в тройке как работает?
...
Рейтинг: 0 / 0
07.04.2014, 12:01:47
    #38607066
Ivan_Pisarevsky
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
КвазиВ сервере есть RAID массив 5, но базы лежат на дисках, которые в массив не включены.Дал таксисту десятку а сам не сел? :)
...
Рейтинг: 0 / 0
07.04.2014, 13:04:44
    #38607150
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
и опять - как ускорить вставку?
wadmanТаблоид, кстати bulk insert в тройке как работает?Если ты про это , то не знаю. К тому же, эта фича "не официальная" вроде.
...
Рейтинг: 0 / 0
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / и опять - как ускорить вставку? / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]