|
|
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Очень быстро идёт заливка данных. А вот затем происходит создание индексов и проверка констрейнтов, это надолго, во много раз дольше заливки данных (на Oracle SE, то бишь без распараллеливания). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 11:19 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
trace.log Импорт по опыту всегда проходит дольше. У меня опыта с такими объёмами не было. На сколько дольше, в 2 раза? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 11:25 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
это зависит от количества и размеров индексов ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 11:40 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Ещё вопрос. c compression=all дамп получился 1,5 Тб., выполнялся 12 часов. если без compression, то expdp пройдёт быстрее? Завтра это попробую. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 11:46 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Alionaесли без compression, то expdp пройдёт быстрее? Завтра это попробую. сколько parallel выставляла? если дисковая подсистема шутрая и количество CPU позволяет - то можно поиграть с количеством потоков. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 13:38 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Alionatrace.logИмпорт по опыту всегда проходит дольше. У меня опыта с такими объёмами не было. На сколько дольше, в 2 раза? Так же рекjмендую целевую базу перед заливкой перевести в noarchivelog, ну и отключить force logging если не дай бог включен. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 14:01 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
xxxkmsотключить force logging если не дай бог включен. ню-ню... ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 14:08 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
xxxkmsAlionaпропущено... У меня опыта с такими объёмами не было. На сколько дольше, в 2 раза? Так же рекjмендую целевую базу перед заливкой перевести в noarchivelog, ну и отключить force logging если не дай бог включен. TC в курсе 19054463 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 14:14 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Q.TarantinoAlionaесли без compression, то expdp пройдёт быстрее? Завтра это попробую. сколько parallel выставляла? если дисковая подсистема шутрая и количество CPU позволяет - то можно поиграть с количеством потоков. про количество parallel я уже спрашивала и Вячеслав Любомудров уже подсказал. У меня 24 процессора, 34 таблицы > 10G. Вчера поставила parallel=24, expdp выполнился за 12 часов. Сегодня поставила parallel=48 - это явно многовато, expdp работает явно быстрее, предполагаю, что проскочит за 8 часов, но в alert.log много сообщений WARNING: aiowait timed out 2 times Вчера такие сообщения проскакивали, но редко. Завтра попробую parallel=34 compression=NONE Вопрос-то был такой: ускорит ли compression=NONE процесс или нет, стоит ли пробовать? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 14:46 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 15:18 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
AlionaВопрос-то был такой: ускорит ли compression=NONE процесс или нет, стоит ли пробовать? небольшой сравнительный тест expdp 10g и expdp 11g с появившейся фичей compress=all. Не думаю, что nocompress по времени отличается у обоих версий, в вот compress=all, судя по тесту, время экономит https://arjunraja.com/2010/01/21/export-expdp-with-compression-of-dumps-in-11g/ ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 15:22 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Aliona, на snaphot to old обрати внимание...данные по этим таблицам не экспортировались полностью... возможно UNDO_RETENTION нужно увеличить ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 18:43 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Тролинна snaphot to old обрати внимание... Судя по постановке задачи, пользователи во время экспорта будут курить бумбук... и жевать попкорн, ожидая окончания импорта... AlionaНовоя БД будет на старом месте ... на тот же сервер, на тоже самое место. Нету ни свободных серверов, ни свободного места. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 26.04.2016, 19:18 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
AlionaВопрос-то был такой: ускорит ли compression=NONE процесс или нет, стоит ли пробовать? Это зависит от дисковой подсистемы. Поставишь NONE - нагрузку на CPU снизишь, но все может упереться в диски. Тут все индивидуально. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2016, 09:34 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Тролин, Господа вы не внимательно читали, я уже об этом и писала, что retention увеличить нельзя, UNDO увеличивать нельзя. Поэтому будем останавливать ПО пользователей. Именно поэтому БД 2 года и работает с corrupt-блоками в UNDO. А сейчас я пока экспериментальные замеры времени провожу. Сегодня отключим Golden Gate, который грузит самые большие таблицы и повторим. Надо добиться протокола без ошибок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2016, 13:40 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
AlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2016, 14:11 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Вячеслав ЛюбомудровAlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п. У меня такого подозрения нет вот почему. 1.Первый раз выполняла expdp parallel=4, получила ORA-0155 по трём таблицам, дамп выполнялся 36 часов. Golden Gate не отключали. Как только получила ошибку по самой большой таблице в 300Гб, сразу запустила её выгрузку отдельно, она приспокойненько выгрузилась, а в это время expdp ещё долго работал. 2. Второй раз выполняла expdp parallel=24, получила ORA-0155 по 7 таблицам, дамп выполнялся 12 часов. Golden Gate не отключали. 3.Вчера третий раз выполняла expdp parallel=48 (это уже многовато, сильно I/O нагрузила) Golden Gate отключили. за рабочий день, почти все таблицы успели выгрузиться, чуть-чуть осталось, несколько таблиц из прошлых (ORA-0155 по 7 таблицам) выгрузились без ошибок, но пришлось остановить. :( 4. Останавливаем Golden Gate вечером, и опять запускаю expdp parallel=24. Есть большая надежда на то, что пройдёт без ошибок. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2016, 15:32 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Вот ещё идея пришла. Мне сейчас для дампа временно подключили диск 6 Тб. Если выпросить диск чуть больше 10 Тб (размер БД 10Т) ,диск 6 Тб уже будет не нужен. Создать на этом-же сервере вторую БД и запустить impdp NETWORK_LINK=база_источник Golden Gate по любому надо будет остановить, другие пользователи смогут работать. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2016, 15:44 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Aliona, NETWORK_LINK прежде чем по линку запускать ипорт ты посмотрела блобы в базе есть? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 27.04.2016, 19:26 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Вячеслав ЛюбомудровAlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п. Сегодня expdp прошёл без ошибок, УРА ! ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2016, 10:21 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
ТролинAliona, NETWORK_LINK прежде чем по линку запускать ипорт ты посмотрела блобы в базе есть? Не смотрела. сейчас гляну. Вчера бегло просматривала документацию, таких ограничений не заметила ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 28.04.2016, 10:23 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Alionaускорит ли compression=NONE процесс или нет, стоит ли пробовать? зависит от c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается без компрессии соответственно наоборот как правило, по процессору запас мощности больше (если диск не SSD, по крайней мере). Тем более, алгоритм сжатия не очень изощренный, не много добавляет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2016, 14:43 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
Nobody1111Alionaускорит ли compression=NONE процесс или нет, стоит ли пробовать? зависит от c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается без компрессии соответственно наоборот . Выгружада с компресией parallel=24. CPU idele 72% a I/O уже напрягался, в alert.log появлялись предупреждения WARNING: aiowaite timed out 1 times ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2016, 15:57 |
|
||
|
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
|
|||
|---|---|---|---|
|
#18+
AlionaNobody1111пропущено... зависит от c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается без компрессии соответственно наоборот . Выгружада с компресией parallel=24. CPU idele 72% a I/O уже напрягался, в alert.log появлялись предупреждения WARNING: aiowaite timed out 1 times CPU idle может меняться с течением времени. Обычно одни нитки expdp заканчиваются раньше других. А на какой платформе aiowait timed out ? Неужто Solaris? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 29.04.2016, 22:08 |
|
||
|
|

start [/forum/topic.php?fid=52&msg=39227521&tid=1885797]: |
0ms |
get settings: |
5ms |
get forum list: |
11ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
165ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
39ms |
get tp. blocked users: |
1ms |
| others: | 197ms |
| total: | 431ms |

| 0 / 0 |
