powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
25 сообщений из 133, страница 3 из 6
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224532
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Очень быстро идёт заливка данных. А вот затем происходит создание индексов и проверка констрейнтов, это надолго, во много раз дольше заливки данных (на Oracle SE, то бишь без распараллеливания).
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224541
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
trace.log
Импорт по опыту всегда проходит дольше.

У меня опыта с такими объёмами не было.

На сколько дольше, в 2 раза?
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224567
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
это зависит от количества и размеров индексов
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224575
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ещё вопрос.


c compression=all дамп получился 1,5 Тб., выполнялся 12 часов.

если без compression, то expdp пройдёт быстрее?
Завтра это попробую.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224742
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alionaесли без compression, то expdp пройдёт быстрее?
Завтра это попробую.
сколько parallel выставляла?
если дисковая подсистема шутрая и количество CPU позволяет - то можно поиграть с количеством потоков.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224760
xxxkms
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alionatrace.logИмпорт по опыту всегда проходит дольше.

У меня опыта с такими объёмами не было.

На сколько дольше, в 2 раза?
Так же рекjмендую целевую базу перед заливкой перевести в noarchivelog, ну и отключить force logging если не дай бог включен.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224773
database corrupted
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
xxxkmsотключить force logging если не дай бог включен. ню-ню...
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224781
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
xxxkmsAlionaпропущено...


У меня опыта с такими объёмами не было.

На сколько дольше, в 2 раза?
Так же рекjмендую целевую базу перед заливкой перевести в noarchivelog, ну и отключить force logging если не дай бог включен.

TC в курсе 19054463
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224832
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Q.TarantinoAlionaесли без compression, то expdp пройдёт быстрее?
Завтра это попробую.
сколько parallel выставляла?
если дисковая подсистема шутрая и количество CPU позволяет - то можно поиграть с количеством потоков.

про количество parallel я уже спрашивала и Вячеслав Любомудров уже подсказал.

У меня 24 процессора, 34 таблицы > 10G.
Вчера поставила parallel=24, expdp выполнился за 12 часов.

Сегодня поставила parallel=48 - это явно многовато,
expdp работает явно быстрее, предполагаю, что проскочит за 8 часов, но в alert.log много сообщений WARNING: aiowait timed out 2 times

Вчера такие сообщения проскакивали, но редко.

Завтра попробую parallel=34 compression=NONE

Вопрос-то был такой:
ускорит ли compression=NONE процесс или нет, стоит ли пробовать?
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224888
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Aliona,

Посмотрите здесь
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224894
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlionaВопрос-то был такой:
ускорит ли compression=NONE процесс или нет, стоит ли пробовать?
небольшой сравнительный тест expdp 10g и expdp 11g с появившейся фичей compress=all.
Не думаю, что nocompress по времени отличается у обоих версий, в вот compress=all, судя по тесту, время экономит
https://arjunraja.com/2010/01/21/export-expdp-with-compression-of-dumps-in-11g/
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225051
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Aliona,
на snaphot to old обрати внимание...данные по этим таблицам не экспортировались полностью... возможно UNDO_RETENTION нужно увеличить
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225079
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тролинна snaphot to old обрати внимание...
Судя по постановке задачи, пользователи во время экспорта будут курить бумбук... и жевать попкорн, ожидая окончания импорта...
AlionaНовоя БД будет на старом месте ... на тот же сервер, на тоже самое место.
Нету ни свободных серверов, ни свободного места.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225269
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlionaВопрос-то был такой:
ускорит ли compression=NONE процесс или нет, стоит ли пробовать?
Это зависит от дисковой подсистемы.
Поставишь NONE - нагрузку на CPU снизишь, но все может упереться в диски.
Тут все индивидуально.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225582
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тролин,

Господа вы не внимательно читали, я уже об этом и писала, что retention увеличить нельзя, UNDO увеличивать нельзя.
Поэтому будем останавливать ПО пользователей.

Именно поэтому БД 2 года и работает с corrupt-блоками в UNDO.

А сейчас я пока экспериментальные замеры времени провожу.
Сегодня отключим Golden Gate, который грузит самые большие таблицы и повторим.
Надо добиться протокола без ошибок.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225634
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
AlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225789
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вячеслав ЛюбомудровAlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п.

У меня такого подозрения нет вот почему.

1.Первый раз выполняла expdp parallel=4, получила ORA-0155 по трём таблицам, дамп выполнялся 36 часов.
Golden Gate не отключали.
Как только получила ошибку по самой большой таблице в 300Гб, сразу запустила её выгрузку отдельно, она приспокойненько выгрузилась, а в это время expdp ещё долго работал.

2. Второй раз выполняла expdp parallel=24, получила ORA-0155 по 7 таблицам,
дамп выполнялся 12 часов.
Golden Gate не отключали.

3.Вчера третий раз выполняла expdp parallel=48 (это уже многовато, сильно I/O нагрузила)
Golden Gate отключили. за рабочий день, почти все таблицы успели выгрузиться, чуть-чуть осталось, несколько таблиц из прошлых (ORA-0155 по 7 таблицам) выгрузились без ошибок, но пришлось остановить. :(

4. Останавливаем Golden Gate вечером, и опять запускаю expdp parallel=24.
Есть большая надежда на то, что пройдёт без ошибок.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225806
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вот ещё идея пришла.
Мне сейчас для дампа временно подключили диск 6 Тб.

Если выпросить диск чуть больше 10 Тб (размер БД 10Т) ,диск 6 Тб уже будет не нужен.
Создать на этом-же сервере вторую БД и запустить
impdp NETWORK_LINK=база_источник

Golden Gate по любому надо будет остановить, другие пользователи смогут работать.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39226100
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Aliona,

NETWORK_LINK прежде чем по линку запускать ипорт ты посмотрела блобы в базе есть?
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39226381
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вячеслав ЛюбомудровAlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п.

Сегодня expdp прошёл без ошибок, УРА !
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39226384
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТролинAliona,

NETWORK_LINK прежде чем по линку запускать ипорт ты посмотрела блобы в базе есть?
Не смотрела. сейчас гляну.

Вчера бегло просматривала документацию, таких ограничений не заметила
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39227521
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Alionaускорит ли compression=NONE процесс или нет, стоит ли пробовать?
зависит от

c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается
без компрессии соответственно наоборот

как правило, по процессору запас мощности больше (если диск не SSD, по крайней мере). Тем более, алгоритм сжатия не очень изощренный, не много добавляет.
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39227615
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nobody1111Alionaускорит ли compression=NONE процесс или нет, стоит ли пробовать?
зависит от

c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается
без компрессии соответственно наоборот

.
Выгружада с компресией parallel=24.
CPU idele 72%
a I/O уже напрягался, в alert.log появлялись предупреждения
WARNING: aiowaite timed out 1 times
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39227838
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
AlionaNobody1111пропущено...

зависит от

c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается
без компрессии соответственно наоборот

.
Выгружада с компресией parallel=24.
CPU idele 72%
a I/O уже напрягался, в alert.log появлялись предупреждения
WARNING: aiowaite timed out 1 times

CPU idle может меняться с течением времени. Обычно одни нитки expdp заканчиваются раньше других.

А на какой платформе aiowait timed out ? Неужто Solaris?
...
Рейтинг: 0 / 0
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39228564
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Nobody1111А на какой платформе aiowait timed out ? Неужто Solaris?
Aliona 19076214
Solaris SPARC...
...
Рейтинг: 0 / 0
25 сообщений из 133, страница 3 из 6
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]