
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
20.10.2015, 21:59:20
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
При миграции данных возникла необходимость таблицу с 19млн записей мигрировать в таблицу с множеством foreign key. Если мигрировать просто без всяких зарубежных ключей все работает за 200 сек. Как только добавляю foreign key, увеличивается время миграции в часы сейчас 8 часов. Пробовал сначала мигрировать в пустую базу, затем добавлять ключи. Один ключ резво встал (250сек), а вот остальные просто повисли. Всего 5 ключей, есть ли какие-нибудь идеи как правильнее мигрировать данные? Version 5.5.39 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
20.10.2015, 22:56:31
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
Если вы уверены в "чистоте" данных (т.е. что внешний ключ не будет нарушен), то можете на время вставки данных выключить проверку внешних ключей - foreign_key_checks = 0 . ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2015, 17:15:08
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
miksoft, спасибо очень хорошая идея, я попробовал, скорость не сильно изменилась, исключил уникальный индекс сразу поднялась скорость миграции до 48 минут с 5 часов. Решил мигрировать данные в таблицу с foreign key, но без уникального индекса, затем добавляю уникальный индекс и это занимает 10 минут всего вся миграция теперь чуть больше часа. Спасибо miksoft, заставил меня поиграть с данной настройкой. Кстати уникальный индекс я тоже отключал но он даже когда говорит OFF почему-то медленно работает и при тестах все-равно проверяет уникальность. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2015, 17:50:44
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
alexnewsПри миграции данных возникла необходимость таблицу с 19млн записей мигрировать в таблицу с множеством foreign key. Если мигрировать просто без всяких зарубежных ключей все работает за 200 сек. Как только добавляю foreign key, увеличивается время миграции в часы сейчас 8 часов. Пробовал сначала мигрировать в пустую базу, затем добавлять ключи. Один ключ резво встал (250сек), а вот остальные просто повисли. Всего 5 ключей, есть ли какие-нибудь идеи как правильнее мигрировать данные? Version 5.5.39 Так добавляй FK ПОСЛЕ миграции. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2015, 18:25:42
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
MasterZivalexnewsПри миграции данных возникла необходимость таблицу с 19млн записей мигрировать в таблицу с множеством foreign key. Если мигрировать просто без всяких зарубежных ключей все работает за 200 сек. Как только добавляю foreign key, увеличивается время миграции в часы сейчас 8 часов. Пробовал сначала мигрировать в пустую базу, затем добавлять ключи. Один ключ резво встал (250сек), а вот остальные просто повисли. Всего 5 ключей, есть ли какие-нибудь идеи как правильнее мигрировать данные? Version 5.5.39 Так добавляй FK ПОСЛЕ миграции. ... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2015, 18:26:41
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
javajdbc, Надо потом добавлять ТОЛЬКО FK. Все индексы и остальные констрейнты -- сразу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.10.2015, 23:16:34
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
А скажите, пожалуйста, пока идет копирование в таблицу, в самой таблице по select count(*) FROM table; постоянно 0, пока копирование не закончится. Это получается все пишется в темп? Если да, то нельзя это как-то настроить чтобы сразу сбрасывалось данные в таблицу? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
22.10.2015, 00:46:57
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
alexnews, размер пакета транзакций задай. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
24.10.2015, 00:47:51
|
|||
|---|---|---|---|
Копирование большой таблицы в таблицу с множеством FOREIGN KEY |
|||
|
#18+
MasterZiv, спасибо кстати заметил может быть случайно, но эти 20млн записей никак не хотели лезть в базу данных пока я не указал innodb_file_per_table это так заметки может я не прав, но тоже помогло. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=47&tablet=1&tid=1832580]: |
0ms |
get settings: |
5ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
83ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
24ms |
get tp. blocked users: |
1ms |
| others: | 198ms |
| total: | 330ms |

| 0 / 0 |
