|
|
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
Эксперимента ради ibpump-ом перегоняю записи из одной базы в другую. Таблиц копирую две, примерно по 16-17 млн. записей в каждой. Таблицы простые, по 6-7 полей int/varchar/date, триггеры отключены, source Win1251, target - UTF8. Но что-то долго идет копирование, уже около 12 часов (первая скопировалась полностью, у второй около 40%). Машина - 2*8 XEON, 16 RAM, диски SAS. Source правда лежит на том же диске, что и FB-шный Temp Directory. Taskman показывает, что около 50% RAM свободно. perfmon показывает высокие показатели всего, что связано с записью на диск. FB - 2.5.2W Classic. Вообще сервер рабочий, с повседневной нагрузкой (около 500 подключений) справляется нормально. Операция копирования одноразовая, но просто интересно как ее можно ускорить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.04.2014, 19:06:41 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
Квази, 1) индексы на приёмнике вЫключены ли ? 2) FW приёмника = ON / OFF ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.04.2014, 19:30:43 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
Информация, необходимая для решения проблем с производительностью Firebird "Хватит уже угадаек" (с) АК Posted via ActualForum NNTP Server 1.5 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.04.2014, 19:38:19 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
ТаблоидКвази, 1) индексы на приёмнике вЫключены ли ? 2) FW приёмника = ON / OFF ? FW - off. Индексы были включены (всегда думал, что ibpump их отключает). Вставка значительно ускорилась. Спасибо. Dimitry Sibiryakov ... RAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках), NTFS, обе базы лежат на несистемных и не swap-дисках (но source лежит на том же диске, что и FB-шный Temp directory). В conf изменены только два параметра - темп и DefaultDbCachePages (256). Win2008/64 не в виртуалке, FB тоже 64. Source около 6 гигов, размер страницы у обеих баз - 8192. P.S. В принципе отключение индексов дало значительный прирост, но может можно будет выжать что-то еще. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.04.2014, 22:05:31 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
Квазиотключение индексов дало значительный прирост, но может можно будет выжать что-то еще.1) С какой частотой ibpump делает commit'ы ? А то тут прокакивало недавно кое-что... про MaxUnflushed* (и я, каюсь, так и не понимаю до сих пор: то ли его надо на винде ставить в -1, то ли в пределах от 1 до 10; 2) попробуйте поставить FileSystemCacheSize = 50...60 (дефолтное значение = 30%, а у вас "Taskman показывает, что около 50% RAM свободно"); 3) точно ли отключены ВСЕ индексы, в т.ч. и те, что обеспечивают на таргете PK / FK ? Отключены ли там также check'и на таблицах ? 4) можете ли запулить этот памп на SuperServer'e ? 5) точно ли вам нужна кодировка utf8 на таргете ? или ради неё всё и затеяно ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 06.04.2014, 23:26:56 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
RAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках) - это как? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.04.2014, 04:01:03 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
ТаблоидКвазиотключение индексов дало значительный прирост, но может можно будет выжать что-то еще.1) С какой частотой ibpump делает commit'ы ? А то тут прокакивало недавно кое-что... про MaxUnflushed* (и я, каюсь, так и не понимаю до сих пор: то ли его надо на винде ставить в -1, то ли в пределах от 1 до 10; 2) попробуйте поставить FileSystemCacheSize = 50...60 (дефолтное значение = 30%, а у вас "Taskman показывает, что около 50% RAM свободно"); 3) точно ли отключены ВСЕ индексы, в т.ч. и те, что обеспечивают на таргете PK / FK ? Отключены ли там также check'и на таблицах ? 4) можете ли запулить этот памп на SuperServer'e ? 5) точно ли вам нужна кодировка utf8 на таргете ? или ради неё всё и затеяно ? 1. 10000 записей 2. попробую, но уже вечером. Рабочий день начался 3. чеков нет, индексы отключены все 4. машина рабочая, придется выкроить время как-нибудь. 5. да. 1251 не поддерживает символы нац. алфавита GallemarRAID-а нет (вернее он есть, но базы лежат на обычных SAS дисках) - это как? Не совсем точно выразился. В сервере есть RAID массив 5, но базы лежат на дисках, которые в массив не включены. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.04.2014, 07:07:25 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
13572644 bulk insert ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.04.2014, 10:00:58 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
Таблоид, кстати bulk insert в тройке как работает? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.04.2014, 10:02:39 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
КвазиВ сервере есть RAID массив 5, но базы лежат на дисках, которые в массив не включены.Дал таксисту десятку а сам не сел? :) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.04.2014, 12:01:47 |
|
||
|
и опять - как ускорить вставку?
|
|||
|---|---|---|---|
|
#18+
wadmanТаблоид, кстати bulk insert в тройке как работает?Если ты про это , то не знаю. К тому же, эта фича "не официальная" вроде. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 07.04.2014, 13:04:44 |
|
||
|
|

start [/forum/topic.php?fid=40&fpage=99&tid=1563732]: |
0ms |
get settings: |
8ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
67ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
64ms |
get tp. blocked users: |
1ms |
| others: | 207ms |
| total: | 383ms |

| 0 / 0 |
