|
|
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
При миграции данных возникла необходимость таблицу с 19млн записей мигрировать в таблицу с множеством foreign key. Если мигрировать просто без всяких зарубежных ключей все работает за 200 сек. Как только добавляю foreign key, увеличивается время миграции в часы сейчас 8 часов. Пробовал сначала мигрировать в пустую базу, затем добавлять ключи. Один ключ резво встал (250сек), а вот остальные просто повисли. Всего 5 ключей, есть ли какие-нибудь идеи как правильнее мигрировать данные? Version 5.5.39 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.10.2015, 21:59:20 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
Если вы уверены в "чистоте" данных (т.е. что внешний ключ не будет нарушен), то можете на время вставки данных выключить проверку внешних ключей - foreign_key_checks = 0 . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 20.10.2015, 22:56:31 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
miksoft, спасибо очень хорошая идея, я попробовал, скорость не сильно изменилась, исключил уникальный индекс сразу поднялась скорость миграции до 48 минут с 5 часов. Решил мигрировать данные в таблицу с foreign key, но без уникального индекса, затем добавляю уникальный индекс и это занимает 10 минут всего вся миграция теперь чуть больше часа. Спасибо miksoft, заставил меня поиграть с данной настройкой. Кстати уникальный индекс я тоже отключал но он даже когда говорит OFF почему-то медленно работает и при тестах все-равно проверяет уникальность. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.10.2015, 17:15:08 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
alexnewsПри миграции данных возникла необходимость таблицу с 19млн записей мигрировать в таблицу с множеством foreign key. Если мигрировать просто без всяких зарубежных ключей все работает за 200 сек. Как только добавляю foreign key, увеличивается время миграции в часы сейчас 8 часов. Пробовал сначала мигрировать в пустую базу, затем добавлять ключи. Один ключ резво встал (250сек), а вот остальные просто повисли. Всего 5 ключей, есть ли какие-нибудь идеи как правильнее мигрировать данные? Version 5.5.39 Так добавляй FK ПОСЛЕ миграции. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.10.2015, 17:50:44 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
MasterZivalexnewsПри миграции данных возникла необходимость таблицу с 19млн записей мигрировать в таблицу с множеством foreign key. Если мигрировать просто без всяких зарубежных ключей все работает за 200 сек. Как только добавляю foreign key, увеличивается время миграции в часы сейчас 8 часов. Пробовал сначала мигрировать в пустую базу, затем добавлять ключи. Один ключ резво встал (250сек), а вот остальные просто повисли. Всего 5 ключей, есть ли какие-нибудь идеи как правильнее мигрировать данные? Version 5.5.39 Так добавляй FK ПОСЛЕ миграции. ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.10.2015, 18:25:42 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
javajdbc, Надо потом добавлять ТОЛЬКО FK. Все индексы и остальные констрейнты -- сразу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.10.2015, 18:26:41 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
А скажите, пожалуйста, пока идет копирование в таблицу, в самой таблице по select count(*) FROM table; постоянно 0, пока копирование не закончится. Это получается все пишется в темп? Если да, то нельзя это как-то настроить чтобы сразу сбрасывалось данные в таблицу? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.10.2015, 23:16:34 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
alexnews, размер пакета транзакций задай. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 22.10.2015, 00:46:57 |
|
||
|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY
|
|||
|---|---|---|---|
|
#18+
MasterZiv, спасибо кстати заметил может быть случайно, но эти 20млн записей никак не хотели лезть в базу данных пока я не указал innodb_file_per_table это так заметки может я не прав, но тоже помогло. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 24.10.2015, 00:47:51 |
|
||
|
|

start [/forum/topic.php?fid=47&fpage=121&tid=1832580]: |
0ms |
get settings: |
6ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
41ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
29ms |
get tp. blocked users: |
1ms |
| others: | 222ms |
| total: | 327ms |

| 0 / 0 |
