|
|
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
собственно есть табличка. в ней 24 млн записей. при генерации скрипта, который призван сделать "дамп", т.е. чтобы на другом сервере "развернуть" схему - как только доходит дело до этой таблички - средство , которым дамп делается - самоубивается. т.е. объем текстового файла с sql запросами весом 1.6 гб - дописывает табличку до 75% и обрыв. вопрос: а как правильно? слышал /придумал варианты: 1) делать партирование по , например 1 млн записей - легко слить. 2) сделать выгрузку по 1 млн с удалением 1 млн. т.е. по мере выгрузки чистить таблицу. это для того, чтобы сделать потом "красиво" выгрузку структуры всей схемы - а данные заливать из Н+1 пакетов. 3) делать из консоли, мускул все умеет :) 4) переписать файлы, которые сохранил мускул , а потом на новом сервере их просто переписать, восстановив схему mysql в то же состояние.(на мой взгляд бред, но не пробовал еще. да и не факт, что на новом месте не будет нужных данных, которые не желательно терять). 5) ну еще много разного. В общем хотелось бы услышать профи, как поступают в подобных случаях. и еще раз постановка задачи: Сделать скрипт - текст sql - чтобы можно выполнить на новом месте и получить все таблицы/вьюхи/процедуры/функции/события/триггеры/данные. Спасибо, за конструктивные советы по делу. п.с. потабличное сливание данных тоже пробовал - проблема та же - зависает от через чур большого размера файла - хотя пишут , что 24млн мускул может "легко", но работать с такой таблицей времяемко выходит. ну и проблема обратного восстановления - бинарные варианты не особо помогают. сами данные - более тренировочные , а не "реальные", но и терять их не очень охота. Цель которую преследую - тренировка и обучение - т.к. пока малые таблички на боевой системе , но пухнут стремительно. Решил научится до того, как припрет "решать", чтобы не делать этого "по горячему". данные нагенерил скриптом за месяц. теперь не могу слить, т.к.для продолжения экспериментов переезжаю на другой сервер. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 17:43:09 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Judeсредство , которым дамп делаетсяЧто за средство? Не так давно я налетал на случай, когда некое "средство" падало, когда размер файла дампа доходил до 2 ГБ. Выяснилось, что проблема была фундаментальная - в размере целых чисел в PHP на 32-битной платформе. Решить смогли только сокращением объема данных, благо, что нашлось много мусора, который можно было зачистить. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 17:50:37 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
miksoftJudeсредство , которым дамп делаетсяЧто за средство? Не так давно я налетал на случай, когда некое "средство" падало, когда размер файла дампа доходил до 2 ГБ. Выяснилось, что проблема была фундаментальная - в размере целых чисел в PHP на 32-битной платформе. Решить смогли только сокращением объема данных, благо, что нашлось много мусора, который можно было зачистить. пока SQL Manager 2007 еще пробую dbforge. но пока в процессе. если получится - отпишу. пару раз ловил "out of memory" - думаю что нужно, для чистоты эксперимента, сделать рестарт и повыгружать все лишнее для освобождения ресурсов. возможно проблема как раз в "средстве". пока не разобрался. с администрированием знаком слабо - пока изучаю - пришлось собственно поэтому и вопросы - т.к. хотелось бы после применения "подходов" потом не гуглить вопросы "и шо нам теперь со всем этим делать?" а заранее знать ответ и предоставить людям варианты решений. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 18:05:28 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Jude, а почему бы не попробовать штатный mysqldump ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 18:24:26 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
miksoftJude, а почему бы не попробовать штатный mysqldump ? ну он в п.3 - попробую. все по порядку. не все админы им пользуются - нужно в начале другие средства проверить. просто было интересно, как у людей делается. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 19:01:13 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Judeну он в п.3 - попробую. все по порядку. не все админы им пользуются - нужно в начале другие средства проверить. просто было интересно, как у людей делается.Странно, обычно с него начинают и нередко им же и заканчивают. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 19:03:46 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
ИМХО в сложных ситуациях в первую очередь следует использовать консольные mysqldump и mysql. Ибо, оно штатное средство. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 23:54:28 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Кстати, при желании этой парой команд + ssh можно перелить базу/таблицу напрямую на другой сервер без промежуточного хранения дампа. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.04.2014, 23:56:16 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Еще один способ: Код: sql 1. 2. 3. 4. ссылка ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.04.2014, 08:47:17 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
еще вопрос вдогонку. получаются разные файлы в зависимости от того, каким средством сделал дамп. от 1 гб до 1.6 гб. Пока пытаюсь понять ЧЕМ можно просмотреть скрипт, т.к. обычные редакторы сильно неторопливо работают, или откровенно не справляются с задачей. чем обычно проверяют столь большие файлы с запросами? п.с. коллега подсказал тотал коммандер с каким-то аддоном - пока ищу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.04.2014, 11:46:27 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Judeчем обычно проверяют столь большие файлы с запросами?Проверить на ЧТО именно - на ошибки синтаксиса, на что-то еще....? Просто посмотреть легко консольной командой less или mc-шной смотрелкой mcview, например. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.04.2014, 11:51:48 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Judeколлега подсказал тотал коммандер с каким-то аддоном - пока ищу.Без никакого аддона штатный просмотрщик по F3 нормально показывает большие файлы. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.04.2014, 12:14:52 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
Judeполучаются разные файлы в зависимости от того, каким средством сделал дамп. от 1 гб до 1.6 гб.Могу предположить, что используются разные формы INSERT-а - однострочная и многострочная. Так же может отличаться форматирование, пробелы и т.п. Еще могут быть разные кодировки, например, русский текст в UTF-8 почти вдвое больше, чем в win1251. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.04.2014, 12:16:48 |
|
||
|
как слить базу.
|
|||
|---|---|---|---|
|
#18+
miksoftJudeполучаются разные файлы в зависимости от того, каким средством сделал дамп. от 1 гб до 1.6 гб.Могу предположить, что используются разные формы INSERT-а - однострочная и многострочная. Так же может отличаться форматирование, пробелы и т.п. Еще могут быть разные кодировки, например, русский текст в UTF-8 почти вдвое больше, чем в win1251. пока с целью проверки целостности данных выбрал запросом ид последней строки большой таблички, и его попробовал найти через поиск в тексте. в некоторых дампах нашел, у части нет. так понимаю, что в некоторых случаях просто был обрыв процесса записи. Спасибо всем откликнувшимся за помощь. теперь буду изучать какие подходы хороши в моем случае. отдельное спасибо за select into Outfile - не знал. буду проверять. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.04.2014, 12:27:29 |
|
||
|
|

start [/forum/topic.php?fid=47&msg=38602190&tid=1835035]: |
0ms |
get settings: |
6ms |
get forum list: |
12ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
41ms |
get topic data: |
8ms |
get forum data: |
2ms |
get page messages: |
37ms |
get tp. blocked users: |
1ms |
| others: | 201ms |
| total: | 314ms |

| 0 / 0 |
