ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / MySQL [игнор отключен] [закрыт для гостей] / MySQL и заливка больших дампов
12 сообщений из 12, страница 1 из 1
MySQL и заливка больших дампов
    #39318943
darkfox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
darkfox
Гость
Всем добра!

Гуру, подскажите, есть какой-то способ ускорить заливку большого дампа в майку?
Размер БД 70ГБ, дамп - 30ГБ. Влетает более 4х часов.

---
"Нефига себе у вас запросы!!!", сказала база данных и подохла...
...
Рейтинг: 0 / 0
30.09.2016, 20:18
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39318973
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Вместо дампа организуй заливку контента (SELECT INTO OUTFILE / LOAD DATAA INFILE), а дампом переноси пустую структуру.
...
Рейтинг: 0 / 0
30.09.2016, 21:09
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39318996
darkfox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
darkfox
Гость
Akina,
понял, спасибо.
О результатах проверки смогу сообщить после выходных.
...
Рейтинг: 0 / 0
30.09.2016, 22:08
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39319030
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
И не забудь - всю хрень типа индексов и триггеров наслаивают ПОСЛЕ заливки данных.
...
Рейтинг: 0 / 0
01.10.2016, 00:26
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39319374
darkfox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
darkfox
Гость
Akina,

есессно :)
...
Рейтинг: 0 / 0
03.10.2016, 08:35
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39334413
darkfox
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
darkfox
Гость
Набросал небольой скриптик по эвакуации данных с помощью select outfile и загрузке load infile
Вобщем всё бодро и весело. Выгрузка 95ГБ базы в 35ГБ дамп за 20 минут.
Заливка на чистый 5.7 .. а вот тут странное. Полезли вот такие сообщения
2016-10-26T10:42:47.927911Z 0 [Note] InnoDB: page_cleaner: 1000ms intended loop took 6069ms. The settings might not be optimal. (flushed=2276, during the time.)
...
Рейтинг: 0 / 0
26.10.2016, 14:23
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39334625
Fitter2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fitter2
Гость
Чтобы не плодить еще одну тему спрошу здесь.
А кто-то пытался экспериментировать с дампом в XML большой ли проигрыш по времени будет по сравнению с CSV ?

Какие минусы у (SELECT INTO OUTFILE / LOAD DATAA INFILE) ? - я думаю целостность данных, но с XML это решаемо.
...
Рейтинг: 0 / 0
26.10.2016, 16:42
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39334640
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Fitter2кто-то пытался экспериментировать с дампом в XML большой ли проигрыш по времени будет по сравнению с CSV ?
См. Импорт БД ФИАС в MySQL. Практический опыт.
...
Рейтинг: 0 / 0
26.10.2016, 16:56
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39335007
Fitter2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fitter2
Гость
Прочитал, интересный материал.
Но в вашем случае вы перегоняете, то что вам дано в базу.
Я же думаю о бэкапе, чтоб выгружать структуру отдельно и данные отдельно. с восстановлением не понятно получается, эта строчка (ROWS IDENTIFIED BY) ломает гибкость для написания скрипта (не очень писать жестко ROWS IDENTIFIED BY '<CurrentStatus>';) .

Да и 5.5 нужно, а у меня пока 5.1.

Спасибо.
...
Рейтинг: 0 / 0
27.10.2016, 10:09
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39335168
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Fitter2в вашем случае вы перегоняете, то что вам дано в базу.
Я же думаю о бэкапеВот какая нафиг разница, получен XML в процессе "бэкапа" или из стороннего источника?
...
Рейтинг: 0 / 0
27.10.2016, 11:44
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39336147
Fitter2
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fitter2
Гость
Да, очень рядом.
Но , такой метод не имеет гибкости - Поменялась структура, должен корректировать скрипт.
Попробуйте накидать скрипты для бэкапа/восстановления любого Mysql сервера с неизвестным количеством баз.
либо мне кажется, что получить '<CurrentStatus>' скриптом сложно, для "ROWS IDENTIFIED BY '<CurrentStatus>';)"

В идеале вы бэкапите всё и восстанавливаете, те базы какие вам нужны (все по умолчанию).
И самое главное - время.
...
Рейтинг: 0 / 0
28.10.2016, 12:42
| Ответить | Цитировать | Написать  
MySQL и заливка больших дампов
    #39336178
Фотография Akina
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Akina
Участник
Fitter2такой метод не имеет гибкости - Поменялась структура, должен корректировать скрипт.Закономерное следствие попытки сваять свой собственный костыль.

Fitter2И самое главное - время.Raw data backup.
...
Рейтинг: 0 / 0
28.10.2016, 13:12
| Ответить | Цитировать | Написать  
12 сообщений из 12, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / MySQL и заливка больших дампов
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=47&msg=39336178&tid=1831267]:
 0ms
get settings:
 11ms
get forum list:
 16ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 195ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 67ms
get tp. blocked users:
 2ms
others: 240ms
total:  554ms
созд. / загр.: 554ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]