Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / MySQL [игнор отключен] [закрыт для гостей] / MySQL и заливка больших дампов / 12 сообщений из 12, страница 1 из 1
30.09.2016, 20:18
    #39318943
darkfox
darkfox
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Всем добра!

Гуру, подскажите, есть какой-то способ ускорить заливку большого дампа в майку?
Размер БД 70ГБ, дамп - 30ГБ. Влетает более 4х часов.

---
"Нефига себе у вас запросы!!!", сказала база данных и подохла...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.09.2016, 21:09
    #39318973
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Вместо дампа организуй заливку контента (SELECT INTO OUTFILE / LOAD DATAA INFILE), а дампом переноси пустую структуру.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.09.2016, 22:08
    #39318996
darkfox
darkfox
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Akina,
понял, спасибо.
О результатах проверки смогу сообщить после выходных.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
01.10.2016, 00:26
    #39319030
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
И не забудь - всю хрень типа индексов и триггеров наслаивают ПОСЛЕ заливки данных.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
03.10.2016, 08:35
    #39319374
darkfox
darkfox
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Akina,

есессно :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.10.2016, 14:23
    #39334413
darkfox
darkfox
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Набросал небольой скриптик по эвакуации данных с помощью select outfile и загрузке load infile
Вобщем всё бодро и весело. Выгрузка 95ГБ базы в 35ГБ дамп за 20 минут.
Заливка на чистый 5.7 .. а вот тут странное. Полезли вот такие сообщения
2016-10-26T10:42:47.927911Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 6069ms. The settings might not be optimal. (flushed=2276, during the time.)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.10.2016, 16:42
    #39334625
Fitter2
Fitter2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Чтобы не плодить еще одну тему спрошу здесь.
А кто-то пытался экспериментировать с дампом в XML большой ли проигрыш по времени будет по сравнению с CSV ?

Какие минусы у (SELECT INTO OUTFILE / LOAD DATAA INFILE) ? - я думаю целостность данных, но с XML это решаемо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
26.10.2016, 16:56
    #39334640
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Fitter2кто-то пытался экспериментировать с дампом в XML большой ли проигрыш по времени будет по сравнению с CSV ?
См. Импорт БД ФИАС в MySQL. Практический опыт.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.10.2016, 10:09
    #39335007
Fitter2
Fitter2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Прочитал, интересный материал.
Но в вашем случае вы перегоняете, то что вам дано в базу.
Я же думаю о бэкапе, чтоб выгружать структуру отдельно и данные отдельно. с восстановлением не понятно получается, эта строчка (ROWS IDENTIFIED BY) ломает гибкость для написания скрипта (не очень писать жестко ROWS IDENTIFIED BY '<CurrentStatus>';) .

Да и 5.5 нужно, а у меня пока 5.1.

Спасибо.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.10.2016, 11:44
    #39335168
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Fitter2в вашем случае вы перегоняете, то что вам дано в базу.
Я же думаю о бэкапеВот какая нафиг разница, получен XML в процессе "бэкапа" или из стороннего источника?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.10.2016, 12:42
    #39336147
Fitter2
Fitter2
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Да, очень рядом.
Но , такой метод не имеет гибкости - Поменялась структура, должен корректировать скрипт.
Попробуйте накидать скрипты для бэкапа/восстановления любого Mysql сервера с неизвестным количеством баз.
либо мне кажется, что получить '<CurrentStatus>' скриптом сложно, для "ROWS IDENTIFIED BY '<CurrentStatus>';)"

В идеале вы бэкапите всё и восстанавливаете, те базы какие вам нужны (все по умолчанию).
И самое главное - время.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.10.2016, 13:12
    #39336178
Akina
Akina
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MySQL и заливка больших дампов
Fitter2такой метод не имеет гибкости - Поменялась структура, должен корректировать скрипт.Закономерное следствие попытки сваять свой собственный костыль.

Fitter2И самое главное - время.Raw data backup.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / MySQL [игнор отключен] [закрыт для гостей] / MySQL и заливка больших дампов / 12 сообщений из 12, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 499ms
Закрыть
start [/forum/topic.php?fid=47&mobile=1&tid=1831267]:
 0ms
get settings:
 7ms
get forum list:
 14ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 190ms
get topic data:
 6ms
get forum data:
 2ms
get page messages:
 33ms
get tp. blocked users:
 1ms
others: 242ms
total:  499ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]