Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ? / 25 сообщений из 133, страница 1 из 6
13.04.2016, 10:26
    #39214348
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
...
Рейтинг: 0 / 0
13.04.2016, 10:30
    #39214355
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
ESTIMATE_ONLY ?
...
Рейтинг: 0 / 0
13.04.2016, 10:58
    #39214395
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Вячеслав ЛюбомудровESTIMATE_ONLY ?
Спасибо !
...
Рейтинг: 0 / 0
13.04.2016, 11:38
    #39214473
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
ESTIMATE_ONLY=Y
показывает реальный размер таблиц и их сумму

Total estimation using BLOCKS method: 5800 MB - почти 6 Тб,

а мне нужен размер дампа, чтобы выискать место для него.
...
Рейтинг: 0 / 0
13.04.2016, 11:48
    #39214486
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Это и есть приблизительный размер дампа (данные тащить надо все, а вот индексы не надо -- достаточно команды на пересоздание)
Ну и плюс тонкости со сжатыми таблицами (если не DIRECT_PATH, то в дамп они попадут разжатыми) и, соответственно тонкости с DIRECT_PATH (там сжатые таблицы поедут сжатыми, но вот насчет обычных разреженных таблиц точно не скажу, возможно пустое место не поедет, но есть вероятность что блоки поедут как есть)
Ну, а файлов для дампа ты можешь использовать несколько, разложив их по разным местам
...
Рейтинг: 0 / 0
13.04.2016, 15:39
    #39214769
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
добавила парамерт compression=all

размер не уменьшился :(
...
Рейтинг: 0 / 0
13.04.2016, 16:35
    #39214842
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Вячеслав Любомудров,
не можете подсказать, сколько приблизительно времени будет дамп заливаться в новую БД?
...
Рейтинг: 0 / 0
13.04.2016, 17:02
    #39214894
Jebrail
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
AlionaВячеслав Любомудров,
не можете подсказать, сколько приблизительно времени будет дамп заливаться в новую БД?
Никто не может .
...
Рейтинг: 0 / 0
13.04.2016, 22:44
    #39215130
archlog
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Aliona,

Ещё место под журналы предусмотреть. Пробовал грузить БД размером 3 тб так и в выходные не вложились.
...
Рейтинг: 0 / 0
14.04.2016, 09:29
    #39215272
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
перед заливкой дампа надо архивлог отключить, потом включить.
Я не поняла, 3 Тб загрузились или нет ?
...
Рейтинг: 0 / 0
14.04.2016, 10:38
    #39215361
archlog
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Aliona,

Данные так и не перенесли - задачу прибили, переносили данные через "холодную" копию прома.
...
Рейтинг: 0 / 0
14.04.2016, 10:48
    #39215379
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
На скорость заливки очень сильно влияют типы данных, если много LOB-ов все будет достаточно медленно
Но тебе ничего не мешает выполнять импорт (да и экспорт) в параллель
...
Рейтинг: 0 / 0
14.04.2016, 11:04
    #39215398
Fogel
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Alionaне можете подсказать, сколько приблизительно времени будет дамп заливаться в новую БД?

Здравствуйте.
По многократному опыту подобных операций на Oracle 10-11 при соблюдении следующих условий:
1. expdp делается по 1-й схеме с опцией exclude grants
2. версии экспортируемой БД и импортируемой одинаковы, характеристики серверов сравнимы, экземпляры БД схожи по опциям
3. перед импортом в новую БД создаётся user, куда будет заливаться дамп схемы, со всеми теми же выданными грантами

Импорт всегда (при отсутствии неучтённых ошибок) происходит в полтора-два (или даже больше) раза быстрее, чем экспорт. Такова статистика.
И как правильно подсказали, можно использовать опцию parallel (предварительно оценив кол-во ядер и их текущую загрузку)
...
Рейтинг: 0 / 0
14.04.2016, 14:09
    #39215670
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Вячеслав ЛюбомудровНо тебе ничего не мешает выполнять импорт (да и экспорт) в параллель
Новоя БД будет на старом месте :)
Такой фокус пройдёт?
...
Рейтинг: 0 / 0
14.04.2016, 14:15
    #39215684
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
FogelПо многократному опыту подобных операций на Oracle 10-11 при соблюдении следующих условий:
1. expdp делается по 1-й схеме с опцией exclude grants

Чё-то я не поняла, почему посхемно грузить сотни схем быстрее, чем всю базу разом в параллеле?
...
Рейтинг: 0 / 0
14.04.2016, 14:31
    #39215716
Никто2223
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Aliona,

Если мне память не изменяет, то это связано с тем, что какой-то ДМЛ не параллелится.
я когда носил большие объемы делал так:
1. Експорт дампа нужных схем
2. Импорт только стркутуры этих данных на целевую БД (metadata_only)
3. Удаление констрейнтов/индексов руками (они тормозят импорт)
4. Импорт данных в созданную структуру (DATA_ONLY)
5. Восстановление индексов, пк и фк (фк при валидации медленно работает если поля не индексированы) руками же хоть с parallel, хоть в К потоков.
...
Рейтинг: 0 / 0
14.04.2016, 14:41
    #39215742
Fogel
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
AlionaFogelПо многократному опыту подобных операций на Oracle 10-11 при соблюдении следующих условий:
1. expdp делается по 1-й схеме с опцией exclude grants

Чё-то я не поняла, почему посхемно грузить сотни схем быстрее, чем всю базу разом в параллеле?

акцент был не на этом, а на том, что импорт идёт быстрее, чем экспорт при определённом наборе условий (в случае с переносом одной схемы).
...
Рейтинг: 0 / 0
14.04.2016, 16:16
    #39215910
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Я особо не тороплюсь, мне надо для начальства просто оценить, сколько пересоздание БД займет времени.
Плюс-минус сутки в данной проблеме роли не играют :)
...
Рейтинг: 0 / 0
14.04.2016, 18:40
    #39216065
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Никто2223Aliona,

Если мне память не изменяет, то это связано с тем, что какой-то ДМЛ не параллелится. Параллелить DML/DDL совсем не обязательно, если экспорт был сделан в несколько потоков (и файлов, соответственно), то и импорт можно будет запустить так, чтоб каждый подчиненнный процесс заливал из своего файла (PARALLEL <= количеству дамп-файлов), а не лезли всем колхозом в один файл, мешаясь друг другу
Если еще и файлы дампа разложены на разных устройствах -- вообще замечательно
Никто22231. Експорт дампа нужных схем
2. Импорт только стркутуры этих данных на целевую БД (metadata_only)
3. Удаление констрейнтов/индексов руками (они тормозят импорт)
4. Импорт данных в созданную структуру (DATA_ONLY)
5. Восстановление индексов, пк и фк (фк при валидации медленно работает если поля не индексированы) руками же хоть с parallel, хоть в К потоков.Если заливать в пустую БД, то ничего удалять и восстанавливать не придется, ибо индексы и констрейнты поднимутся только после заливки данных
Хотя, так действительно можно увеличить количество потоков пересоздания индексов (если PARALLEL не достаточно), но ведь PARALLEL можно увеличить и в процессе импорта

Конечно, все это только если редакция позволяет
...
Рейтинг: 0 / 0
19.04.2016, 12:06
    #39218945
Aliona
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Solaris SPARC, дисков нет и не предвидеться, дамп некуда класть.

А нельзя ли как-нибудь извратиться, чтобы дамп сливать на ленту? мне кажется, нельзя,может, кто-нибудь такой фокус проделывал.
Если сетевые диски подключить с других серверов, насколько это надёжно для датапампа?
...
Рейтинг: 0 / 0
19.04.2016, 12:24
    #39218977
Alexey Zhidkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
AlionaА нельзя ли как-нибудь извратиться, чтобы дамп сливать на ленту? мне кажется, нельзя,может, кто-нибудь такой фокус проделывал.
Если сетевые диски подключить с других серверов, насколько это надёжно для датапампа?
можно через пайпу сразу лить на другой сервер. Правда это обычным экспортом делали, с expdp не проверял...
...
Рейтинг: 0 / 0
19.04.2016, 12:33
    #39218990
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
С expdp не пролезет ни через pipe, ни на ленту
Но подключить чужие диски по NFS вполне нормально
...
Рейтинг: 0 / 0
19.04.2016, 16:26
    #39219367
trace.log
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Если трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.
...
Рейтинг: 0 / 0
19.04.2016, 16:28
    #39219371
Alexey Zhidkov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
trace.logЕсли трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.
Для таких объемов - это жестоко :)
...
Рейтинг: 0 / 0
19.04.2016, 16:57
    #39219414
trace.log
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Alexey Zhidkov,

это понятно, но можно было и попробовать, тем более это не горящая бд и время есть с запасом.
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ? / 25 сообщений из 133, страница 1 из 6
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]