powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / MySQL [игнор отключен] [закрыт для гостей] / как слить базу.
14 сообщений из 14, страница 1 из 1
как слить базу.
    #38602190
Jude
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
собственно есть табличка.
в ней 24 млн записей.
при генерации скрипта, который призван сделать "дамп", т.е. чтобы на другом сервере "развернуть" схему - как только доходит дело до этой таблички - средство , которым дамп делается - самоубивается.
т.е. объем текстового файла с sql запросами весом 1.6 гб - дописывает табличку до 75% и обрыв.
вопрос: а как правильно?
слышал /придумал варианты:
1) делать партирование по , например 1 млн записей - легко слить.
2) сделать выгрузку по 1 млн с удалением 1 млн. т.е. по мере выгрузки чистить таблицу. это для того, чтобы сделать потом "красиво" выгрузку структуры всей схемы - а данные заливать из Н+1 пакетов.
3) делать из консоли, мускул все умеет :)
4) переписать файлы, которые сохранил мускул , а потом на новом сервере их просто переписать, восстановив схему mysql в то же состояние.(на мой взгляд бред, но не пробовал еще. да и не факт, что на новом месте не будет нужных данных, которые не желательно терять).
5) ну еще много разного.

В общем хотелось бы услышать профи, как поступают в подобных случаях.

и еще раз постановка задачи:
Сделать скрипт - текст sql - чтобы можно выполнить на новом месте и получить все таблицы/вьюхи/процедуры/функции/события/триггеры/данные.

Спасибо, за конструктивные советы по делу.
п.с. потабличное сливание данных тоже пробовал - проблема та же - зависает от через чур большого размера файла - хотя пишут , что 24млн мускул может "легко", но работать с такой таблицей времяемко выходит. ну и проблема обратного восстановления - бинарные варианты не особо помогают. сами данные - более тренировочные , а не "реальные", но и терять их не очень охота. Цель которую преследую - тренировка и обучение - т.к. пока малые таблички на боевой системе , но пухнут стремительно. Решил научится до того, как припрет "решать", чтобы не делать этого "по горячему". данные нагенерил скриптом за месяц. теперь не могу слить, т.к.для продолжения экспериментов переезжаю на другой сервер.
...
Рейтинг: 0 / 0
как слить базу.
    #38602209
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Judeсредство , которым дамп делаетсяЧто за средство?

Не так давно я налетал на случай, когда некое "средство" падало, когда размер файла дампа доходил до 2 ГБ.
Выяснилось, что проблема была фундаментальная - в размере целых чисел в PHP на 32-битной платформе.
Решить смогли только сокращением объема данных, благо, что нашлось много мусора, который можно было зачистить.
...
Рейтинг: 0 / 0
как слить базу.
    #38602225
Jude
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftJudeсредство , которым дамп делаетсяЧто за средство?

Не так давно я налетал на случай, когда некое "средство" падало, когда размер файла дампа доходил до 2 ГБ.
Выяснилось, что проблема была фундаментальная - в размере целых чисел в PHP на 32-битной платформе.
Решить смогли только сокращением объема данных, благо, что нашлось много мусора, который можно было зачистить.
пока SQL Manager 2007
еще пробую dbforge. но пока в процессе. если получится - отпишу.
пару раз ловил "out of memory" - думаю что нужно, для чистоты эксперимента, сделать рестарт и повыгружать все лишнее для освобождения ресурсов.
возможно проблема как раз в "средстве". пока не разобрался. с администрированием знаком слабо - пока изучаю - пришлось
собственно поэтому и вопросы - т.к. хотелось бы после применения "подходов" потом не гуглить вопросы "и шо нам теперь со всем этим делать?" а заранее знать ответ и предоставить людям варианты решений.
...
Рейтинг: 0 / 0
как слить базу.
    #38602238
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Jude,

а почему бы не попробовать штатный mysqldump ?
...
Рейтинг: 0 / 0
как слить базу.
    #38602299
Jude
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftJude,

а почему бы не попробовать штатный mysqldump ?
ну он в п.3 - попробую.
все по порядку.
не все админы им пользуются - нужно в начале другие средства проверить.
просто было интересно, как у людей делается.
...
Рейтинг: 0 / 0
как слить базу.
    #38602303
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Judeну он в п.3 - попробую.
все по порядку.
не все админы им пользуются - нужно в начале другие средства проверить.
просто было интересно, как у людей делается.Странно, обычно с него начинают и нередко им же и заканчивают.
...
Рейтинг: 0 / 0
как слить базу.
    #38602460
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ИМХО в сложных ситуациях в первую очередь следует использовать консольные mysqldump и mysql. Ибо, оно штатное средство.
...
Рейтинг: 0 / 0
как слить базу.
    #38602461
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати, при желании этой парой команд + ssh можно перелить базу/таблицу напрямую на другой сервер без промежуточного хранения дампа.
...
Рейтинг: 0 / 0
как слить базу.
    #38602549
Gijad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еще один способ:
Код: sql
1.
2.
3.
4.
SELECT a,b,a+b INTO OUTFILE '/tmp/result.txt'
  FIELDS TERMINATED BY ',' OPTIONALLY ENCLOSED BY '"'
  LINES TERMINATED BY '\n'
  FROM test_table;


ссылка
...
Рейтинг: 0 / 0
как слить базу.
    #38602809
Jude
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
еще вопрос вдогонку.
получаются разные файлы в зависимости от того, каким средством сделал дамп.
от 1 гб до 1.6 гб.
Пока пытаюсь понять ЧЕМ можно просмотреть скрипт, т.к. обычные редакторы сильно неторопливо работают, или откровенно не справляются с задачей.
чем обычно проверяют столь большие файлы с запросами?
п.с.
коллега подсказал тотал коммандер с каким-то аддоном - пока ищу.
...
Рейтинг: 0 / 0
как слить базу.
    #38602826
vkle
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Judeчем обычно проверяют столь большие файлы с запросами?Проверить на ЧТО именно - на ошибки синтаксиса, на что-то еще....?

Просто посмотреть легко консольной командой less или mc-шной смотрелкой mcview, например.
...
Рейтинг: 0 / 0
как слить базу.
    #38602860
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Judeколлега подсказал тотал коммандер с каким-то аддоном - пока ищу.Без никакого аддона штатный просмотрщик по F3 нормально показывает большие файлы.
...
Рейтинг: 0 / 0
как слить базу.
    #38602863
miksoft
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Judeполучаются разные файлы в зависимости от того, каким средством сделал дамп.
от 1 гб до 1.6 гб.Могу предположить, что используются разные формы INSERT-а - однострочная и многострочная. Так же может отличаться форматирование, пробелы и т.п.
Еще могут быть разные кодировки, например, русский текст в UTF-8 почти вдвое больше, чем в win1251.
...
Рейтинг: 0 / 0
как слить базу.
    #38602892
Jude
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
miksoftJudeполучаются разные файлы в зависимости от того, каким средством сделал дамп.
от 1 гб до 1.6 гб.Могу предположить, что используются разные формы INSERT-а - однострочная и многострочная. Так же может отличаться форматирование, пробелы и т.п.
Еще могут быть разные кодировки, например, русский текст в UTF-8 почти вдвое больше, чем в win1251.
пока с целью проверки целостности данных выбрал запросом ид последней строки большой таблички, и его попробовал найти через поиск в тексте. в некоторых дампах нашел, у части нет. так понимаю, что в некоторых случаях просто был обрыв процесса записи.

Спасибо всем откликнувшимся за помощь. теперь буду изучать какие подходы хороши в моем случае.

отдельное спасибо за select into Outfile - не знал. буду проверять.
...
Рейтинг: 0 / 0
14 сообщений из 14, страница 1 из 1
Форумы / MySQL [игнор отключен] [закрыт для гостей] / как слить базу.
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]