powered by simpleCommunicator - 2.0.29     © 2024 Programmizd 02
Map
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Из серии странных вопросов про expdp
64 сообщений из 64, показаны все 3 страниц
Из серии странных вопросов про expdp
    #40112731
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Если база слишком большая и expdp продолжается больше чем сутки да и прописан compression=all, что замедляет сам процесс expdp.

Крон выставлен ежедневно в одно и тоже время.

1). Как быть в таком случае ?
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112741
Фотография shane54
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112751
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shane54
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.



Проверил спс, можно ли ускорить как-то с compression=all exdp ?

Сжатие нужно т.к. данных много а место мало на диске
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112753
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Параллелизм?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112763
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency,

Параллелизм?



можете по конкретней буду благодарен , спс
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112766
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency,

Параллелизм?


Код: xml
1.
For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files




допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112769
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Проводить экспорт с указанием степени параллелизма:

Код: plsql
1.
expdp <user>/<password>@<sid> schemas=SH parallel=4 directory=DP_DIR dumpfile=sh_%U.dmp
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112771
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Frequency
Asmodeus
Frequency,

Параллелизм?


Код: xml
1.
For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files




допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?

Выгружайте в несколько дампфайлов.
Должно получиться быстрее.

Кроме того, если у вас экспорт может идти больше суток, тогда и дампфайл может получиться ОГРОМНЫЙ.
Оно вам нужно?

N.B. Для использования COMPRESSION=ALL требуется лицензирование опции Advanced Compression.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112778
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112784
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Понял спасибо
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112888
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112898
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
Asmodeus
пропущено...
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112919
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency
пропущено...



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?



1). На смонтированный диск.
2). 4 CPU , 64 RAM
3). Oracle linux 8, DB 19c
4). Кроме инрементального RMAN , ежедневный датапамп одной сxемы
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112921
dmdmdm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ежедневный датапамп одной сxемы

Прям так критична вся схема?

Обычно требуется только часть. Expdp Query.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112927
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Оракл говорит, что начинать надо с cpu_count*2 и дальше тюнить по обстоятельствам. Я предпочитаю идти "снизу" (особенно, если параллельно с дампом еще какие-то работы могут быть). Следует учитывать, что экспорт LOB-сегментов не параллелится, минимальной гранулой для datapump является таблица (секция/подсекция, если таблица секционирована). Если в схеме есть несколько больших таблиц, то возможно лучшим способом будет дампить их отдельными задачами.

Как пример: в 4 потока 2,5 ТВ БД с LOB'ами по 1 Gb/sec сети утаскивается за 12 часов. Долговато, но народ устраивает.

P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?
P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112942
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

Код: xml
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1




Я выставил parallel=4 или все таки 3 хватит , то есть этот процесс идет на 2-ом ноде
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112944
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus


P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)



Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112945
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112946
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

Код: xml
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1


Судя по виду, какая-то виртуализация.

Frequency
Я выставил parallel=4
Я бы даже начал с двух. Не забудьте про dumpfile=dump_%U.dmp, ибо For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of dump files.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112947
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus,

Да вы правы виртуализация
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112954
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Наверно начните с двух, т.к. не понятно, какие свойства у подмонтированного диска (может стать узким местом).
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112966
Фотография SY
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Frequency

Крон выставлен ежедневно в одно и тоже время.


А что за необходимость в ежедневном expdp? Да и смысл он имеет только при flashback_time/flashback_scn что само по себе замедляет экспорт (и возможно существенно).

SY.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40112977
Фотография shane54
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
FrequencyЕжедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки

Т.е. Вы как бы RMAN'у не доверяете? Может лучше тогда просто в ежедневный скрипт бекапа добавить CHECK LOGICAL, или RESTORE PREVIEW / VALIDATE, чтобы "перепроверять" что там RMAN набекапил?

Возвращаясь к теме - так в этой схеме идёт ежедневная разработка, или это таки Production? Просто 800 ГБ, и "всё нужное" немного смущает. Вряд ли на Prod системе допустим экспорт, длящийся сутки. К тому же, как выше заметили, если Вы делаете консистентный экспорт (а Вы же делаете?). Т.е. экспорт с FLASHBACK_TIME=SYSTIMESTAMP, правда? (иначе зачем это все..?). Представьте нагрузку на Undo в течение этих суток, я к этому.

Если разработка - обычно для "страховки" хватает делать экспорт METADATA_ONLY, чтобы сохранять всю структуру системы. Ну и какие-то конфигурационные/важные таблицы, список которых обычно известен.

А если Prod - как уже предлагалось выше, лучше "вложить" час времени, посидеть / подумать и разделить систему (таблицы) на статические и обновляемые. И исключить хотя бы топ 5 или 10 самых больших. И написать в файл параметров экспорта простыню QUERY запросов (и/или INCLUDE/EXCLUDE) на список реально нужных таблиц. А если есть нужные/большие таблицы - отсекать в них только свежие данные, фильтровать их по какому-то признаку (каждую таблицу можно фильтровать отдельно по своему признаку), чтобы только свежие/новые данные экспортировать. Можно даже ссылаться друг на друга в QUERY блоке, можно подзапросы делать - в общем, там очень много можно накрутить. Но это того стОит, потому что экспорт можно действительно очень сильно оптимизировать по времени (ну и по размеру конечно). Главное только "know your data" - все это получится, если Вы владеете знаниями о хранимых данных в таблицах, как они организованы, ссылаются друг на друга и тд.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113006
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shane54,

Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ? И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113026
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ?
С flashback_time при недостаточности undo возможно выпадение "snapshot too old". Т.е. в целом нагрузка на систему подрастет.
Frequency
И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо
Зависит от объема изменений на источнике и необходимости реконструкции данных на момент flashback_time. Не ускорит - это точно.

З.Ы. Привели бы уже скрипт выполнения expdp с файлом параметров (если используется).

З.З.Ы. На почитать.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113027
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
SY
Frequency

Крон выставлен ежедневно в одно и тоже время.


А что за необходимость в ежедневном expdp? Да и смысл он имеет только при flashback_time/flashback_scn что само по себе замедляет экспорт (и возможно существенно).

SY.



FLASHBACK_TIME=SYSTIMESTAMP , означает что данные экспорта будут на момент SYSTIMESTAMP , что после в дамп не запишутся ?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113029
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency

FLASHBACK_TIME=SYSTIMESTAMP , означает что данные экспорта будут на момент SYSTIMESTAMP , что после в дамп не запишутся ?
В этом и смысл: дамп будет согласован на момент времени SYSTIMESTAMP. Т.е. не будет ситуации, когда после импорта окажется, что, например, деньги переводят на несуществующую карточку.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113030
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Asmodeus#22397793]
Frequency


З.Ы. Привели бы уже скрипт выполнения expdp с файлом параметров (если используется).



expdp SYSTEM/pass schemas=SCHEMA_1, SCHEMA_2 compression=all parallel=2 encryption_password=pass flashback_time=systimestamp directory=dump_dir logfile=logfile.log dumpfile=dumpfile%U.dmp
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113034
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
expdp SYSTEM/pass schemas=SCHEMA_1, SCHEMA_2 compression=all parallel=2 encryption_password=pass flashback_time=systimestamp directory=dump_dir logfile=logfile.log dumpfile=dumpfile%U.dmp

Еще и шифрование... Все так плохо?

Добавьте
Код: plsql
1.
COMPRESSION_ALGORITHM=MEDIUM METRICS=YES LOGTIME=ALL


Последние 2 параметра - для повышения информативности логов.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113035
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Asmodeus#22397798]
Frequency
.


По вашему опыту, я пока что не запускал сам скрипт. У меня UNDO 32 гб я так понял не зватит для 800 ГБ экпорта ?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113048
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
По вашему опыту, я пока что не запускал сам скрипт. У меня UNDO 32 гб я так понял не зватит для 800 ГБ экпорта ?
Эти вещи (размер БД/схем и размер UNDO) напрямую не связаны. Покажите
Код: plsql
1.
2.
3.
SQL> show parameter undo

SQL> select retention from dba_tablespaces where contents = 'UNDO';
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113049
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency
По вашему опыту, я пока что не запускал сам скрипт. У меня UNDO 32 гб я так понял не зватит для 800 ГБ экпорта ?
Эти вещи (размер БД/схем и размер UNDO) напрямую не связаны. Покажите
Код: plsql
1.
2.
3.
SQL> show parameter undo

SQL> select retention from dba_tablespaces where contents = 'UNDO';





SQL> show parameter undo;

NAME TYPE VALUE
------------------------------------ ----------- ------------------------------
temp_undo_enabled boolean FALSE
undo_management string AUTO
undo_retention integer 25000
undo_tablespace string NODEDB2_UNDO
SQL> select retention from dba_tablespaces where contents = 'UNDO';

RETENTION
-----------
NOGUARANTEE
NOGUARANTEE
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113057
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Frequency#22397799]
Asmodeus

expdp SYSTEM/pass schemas=SCHEMA_1, SCHEMA_2 compression=all parallel=2 encryption_password=pass flashback_time=systimestamp directory=dump_dir logfile=logfile.log dumpfile=dumpfile%U.dmp

Использование шифрования файла экспорта (DataPump Export File encryption) требует лицензирования опции Advanced Security.

См. также N.B. здесь 22397368
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113059
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot SQL*Plus#22397855]
Frequency
пропущено...

Использование шифрования файла экспорта (DataPump Export File encryption) требует лицензирования опции Advanced Security.

См. также N.B. здесь 22397368



лицензия есть , спасибо
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113060
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Frequency
лицензия есть , спасибо

Вскрытие Аудит покажет. :-)
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113061
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot SQL*Plus#22397855]
Frequency
пропущено...

Использование шифрования файла экспорта (DataPump Export File encryption) требует лицензирования опции Advanced Security.

См. также N.B. здесь 22397368



A если лицензии нет например, impdp данных потребует лицензию ?

Или что будет если лицензии не будет, чисто для интереса, ну кроме аудита )))
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113063
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Я бы начал с устанавки undo_retention в значение, не меньшее времени, которое требуется на проведение экспорта, т.е. если экспорт идет сутки - ставить собственно примерно столько (в секундах).

Оценить размер undo по статистике (это без будущего дампа, на текущей нагрузке, т.е. размер undo по статистике за 7 последних дней при установке undo_retention в 86400 (сутки)):
Код: plsql
1.
SQL> SELECT dbms_undo_adv.required_undo_size(86400, SYSDATE-7, SYSDATE) FROM dual;



Если RAC, то менять параметр следует на всех узлах.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113064
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency,

Код: plsql
1.
SQL> SELECT dbms_undo_adv.required_undo_size(86400, SYSDATE-7, SYSDATE) FROM dual;




3572

Asmodeus



Примерно экспорт будет идти 13-15 часов.

Я так понял мне undo_retention=25000 хватит ?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113065
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot Frequency#22397860]
SQL*Plus
пропущено...

A если лицензии нет например, impdp данных потребует лицензию ?

Или что будет если лицензии не будет, чисто для интереса, ну кроме аудита )))

Программы никаких лицензий не требуют.
И это плохо.
Было бы лучше, если бы были явные включатели-выключатели опций и пакетов.
(Например, как это сделано для Diagnostics Pack и Tuning Pack с помощью параметра control_management_pack_access)

Наличия лицензий требует правообладатель - компания Oracle.
Проводником этой политики служит лицензионный аудит Oracle.

Следить за соблюдением лицензионных правил - одна из обязанностей администратора БД
Database Administrator’s GuideA database administrator's responsibilities can include the following tasks:
. . .
• Ensuring compliance with Oracle license agreements
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113066
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
Примерно экспорт будет идти 13-15 часов.

Я так понял мне undo_retention=25000 хватит ?

15 часов - это 54.000 секунд...
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113068
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency
Примерно экспорт будет идти 13-15 часов.

Я так понял мне undo_retention=25000 хватит ?

15 часов - это 54.000 секунд...



на 90000 выставил, напишу результат после экспорта.


Спасибо
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113071
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot SQL*Plus#22397867]
Frequency
пропущено...

Программы никаких лицензий не требуют.
И это плохо.
Было бы лучше, если бы были явные включатели-выключатели опций и пакетов.
(Например, как это сделано для Diagnostics Pack и Tuning Pack с помощью параметра control_management_pack_access)

Наличия лицензий требует правообладатель - компания Oracle.
Проводником этой политики служит лицензионный аудит Oracle.

Следить за соблюдением лицензионных правил - одна из обязанностей администратора БД
пропущено...



Понял, спс )))
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113072
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Если есть поддержка, почитайте документ 1579035.1 .
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113075
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency,

Если есть поддержка, почитайте документ 1579035.1 .



К сожалению нет
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113260
flexgen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Frequency

Примерно экспорт будет идти 13-15 часов.


О каком объеме данных идет речь, в гигабайтах? Что-то уж очень долго, 13-15 часов. Какие wait events наблюдаются во время работы expdp?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113302
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
10 часав с сжатитем 800 гигов, на 2 параллели.

Всем спасибо, друзья.

Хорошие специалисты плохого не пожелают ))))
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113338
flexgen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Frequency
10 часав с сжатитем 800 гигов, на 2 параллели.

Всем спасибо, друзья.

Хорошие специалисты плохого не пожелают ))))


800 Гб - это суммарный размер дамп файлов по окончании экспорта? Или это общий объем экспортируемых данных?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113819
Alexey Chasovnikov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency
опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?

Зачем использовать expdp? Используйте RMan для резервного копирования и восстановления. У меня 2 базы по 1.5ТБ. RMan на них идет 5 часов (full)
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113895
BTM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BTM
Гость
Alexey Chasovnikov
Frequency
опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
Зачем использовать expdp? Используйте RMan для резервного копирования и восстановления. У меня 2 базы по 1.5ТБ. RMan на них идет 5 часов (full)


Frequency
Asmodeus

P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)

Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки


И я ТС прекрасно понимаю, RMAN капризный до крайности и не такой очевидный, как старый добрый дамп...
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40113903
Фотография SY
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BTM


И я ТС прекрасно понимаю, RMAN капризный до крайности и не такой очевидный, как старый добрый дамп...


И что ты будешь делать этим старым добрым дампом? Разве что у тебя скобяная лавка и потеря целого дня транзакций не проблема.

SY.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114018
flexgen
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Alexey Chasovnikov
Frequency
опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?

Зачем использовать expdp? Используйте RMan для резервного копирования и восстановления. У меня 2 базы по 1.5ТБ. RMan на них идет 5 часов (full)

Ну вот представь себе ситуацию - кто-то взял и удалил статичную таблицу-справочник, без которой твоя аппликация работать не будет. Как думаешь, что быстрее и удобнее - сделать импорт этой таблицы при помощи datapump или восстановить ее из бэкапа?
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114021
Фотография SY
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[quot flexgen#22399451]
Alexey Chasovnikov
пропущено...
Ну вот представь себе ситуацию - кто-то взял и удалил статичную таблицу-справочник, без которой твоя аппликация работать не будет. Как думаешь, что быстрее и удобнее - сделать импорт этой таблицы при помощи datapump или восстановить ее из бэкапа?


Ну представил. Во-первых "кто-то" удалил указывает на бардак. Ладно, допустим это DBA по ошибке. Банально:

Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
SQL> create table emp_test as select * from emp;

Table created.

SQL> drop table emp_test;

Table dropped.

SQL> flashback table emp_test to before drop;

Flashback complete.

SQL> select count(*) from emp_test;

  COUNT(*)
----------
        14

SQL>



А за DROP PURGE бить больно (финансово)

SY.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114032
Фотография shane54
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну если вспомнили про FLASHBACK как средство защиты от удаления таблицы, то тогда уж и про Recycle Bin стоит упомянуть.

А если серьёзно - то справедливости для стоит упомянуть что RMAN таки умеет восстанавливать таблицу из бекапа, начиная с 12c. Как именно он это делает (пардон за капитанство, вдруг кто не знает) - создаётся (автоматически) временный экземпляр (AUXILLARY), таблица извлекается из бекапа и сохраняется в дамп файл методом Data Pump Export. И сразу же импортируется обратно в базу (тем же DP Import), причём можно указать таблице новое имя и даже импортнуть в другую схему или TBS (REMAP в общем). Т.е. можно не задевая существующую таблицу, рядом восстановить её же, на какой-то момент времени до. Но это мы уже отошли от темы удаления таблицы, этот сценарий про испорченную таблицу и как её восстановить. И потом RMAN все за собой подтирает. И последнее - фазу импорта можно и не выполнять, тогда из бекапа таблица извлечется, и останется в дампе. И вся эта радость одной командой.

И ещё есть BLOCKRECOVER, можно из бекапа чинить corrupted блоки сегментов с данными, доставая из бекапа нужные блоки, и догоняя их до нужной консистенции из архивлогов. Крутая фича, но требует EE редакции. Ну и ещё конечно PDB restore, иначе как.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114050
kissfro
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Спасибо!
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114163
BTM
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
BTM
Гость
SY
BTM


И я ТС прекрасно понимаю, RMAN капризный до крайности и не такой очевидный, как старый добрый дамп...


И что ты будешь делать этим старым добрым дампом? Разве что у тебя скобяная лавка и потеря целого дня транзакций не проблема.

SY.

А на этот случай у меня хотбэкап датафайлов ежедневный и все базы в архивлог режиме)).
Но мы же про крайности говорим и из дампа восстановить статичную таблицу проще и быстрее, чем из рмана, который все равно тот же датапамп использует.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114188
Фотография SY
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
BTM

Но мы же про крайности говорим и из дампа восстановить статичную таблицу проще и быстрее, чем из рмана, который все равно тот же датапамп использует.


Да почитай-ты наконец про корзину (recyclebin).

SY.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114204
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Есть приложения, в требованиях у которых явно запрещена корзина
С другой стороны, часто есть килограмм тестовых клонов, из которых достаточно легко вытащить те самые "статичные справочные таблички"
Если есть место хранить (как долго?) дампы, то почему бы и нет
Тем более, что похоже, на производительность всем наплевать и можно делать консистентную копию за пол-суток/сутки продолжительностью.
Т.е. люди просто не наступили, что это охрененная нагрузка -- значит для них все нормально.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40114394
Фотография shane54
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А кстати, случай был. Что-то вспомнилось. Раз уж зашла речь про BLOCKRECOVER. У одного моего друга (с) случилась история, мож кому пригодится использованная тактика. Очень давно, в этом веке уже, но в первой-второй пятилетке наверно. Боевая база, и вдруг клиент звонит из другой страны, мутная история - то ли "свет моргнул" (ага, в DC), то ли firmware на массиве обновили днем, никого не предупредив. Короче темнит сильно, ну да не суть. Конкретно наша система, наша база повреждена очень "аккуратно" скажем так - одна (самая) большая таблица задета, в ней после анализа - всего 3 блока испорчено. Но система стоит, пользователи в гриде с данными за сегодня при рефреше видят ORA-600, ну и джобы которые закачивают текущие данные тоже падают с теми же симптомами. Страшный скандал, чуть ли самолёты взлетать не могут (софт для аэропортов). Жуткий цейтнот, за спиной стоят "помощники" (менеджмент), спина мокрая, протестировать или проверить что-то невозможно, реально есть 5 минут (ладно, час) чтоб все привести в чувство. База SE, наверно 11.1, тогда ещё 11.2 не появилась, как и SE2. В общем, лёгким движением руки, "на 5 минут" рядом с текущим хоумом ставится новый Oracle Home, та же версия, но ЕЕ редакция. Открывается база из нового Home и через BLOCKRECOVER чинится задетая таблица за пару минут. Все. Открывается база старым, SE хоумом, новый деинсталлится заметая следы. Больше всего волнение что при первом старте базы из EE хоума, что-нибудь было установлено в базу или обновились какие-то флаги, что мол теперь мы ЕЕ база. Типа как когда COMPATIBLE параметр изменяешь - при первом старте (и только при первом) необратимо обновляются заголовки дата файлов и формат redo логов, и обратного пути нет (как минимум официального). Проверить то времени небыло, будь хоть пара часов - все бы протестировали. В общем, зажмурившись стартовали базу из старого SE хоума и морально ждали что сейчас вылезет "Feature not enabled" или "Option not available", или чего-то ещё в этом роде. Но пронесло. Вот такая история.
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40115122
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Код: plsql
1.
2.
3.
4.
ORA-31693: Table data object "SCHEMA"."TABLENAME" failed to load/unload and is being skipped due to error:
ORA-02354: error in exporting/importing data
ORA-01555: snapshot too old: rollback segment number  with name "" too small
ORA-22924: snapshot too old




Экспорт идет 9 часов UNDO выставлен 86400.

Одна таблица не выгрузилась, в таблице есть лоб


Код: plsql
1.
select owner,table_name, segment_name, pctversion, retention from dba_lobs where table_name in ('TABLE_NAME');




Код: xml
1.
2.
OWNER	TABLE_NAME	SEGMENT_NAME	PCTVERSION	RETENTION
SCHEMA	TABLE_N   SYS_LOB0000043243543$$	NULL	         4



Размер лоба 190ГБ.


Насколько нужно поставить PCTVERSION или RETENTION , дайте совет пжт
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40115133
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Какой тип LOB'а?

Код: plsql
1.
2.
select owner,table_name, segment_name, pctversion, retention, securefile
from dba_lobs where table_name in ('TABLE_NAME');
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40115191
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency,

Какой тип LOB'а?

Код: plsql
1.
 securefile



NO
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40115192
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus,

Установил

alter table TABLE_NAME modify lob(COLUMN) (retention);
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40115211
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Frequency,

Тогда
"RETENTION Parameter for BasicFiles LOBs"You cannot set the value of the RETENTION parameter explicitly. The amount of time for retention of LOB versions in determined by the UNDO_RETENTION parameter.
Дока

При изменении undo_retention на уровне БД, значение retention для LOB не меняется автоматически и надо менять руками:
Код: plsql
1.
SQL> alter table TABLE_NAME modify lob (LOB_COLUMN) (retention);


UNDO для LOB'ов располагается в самих LOB-сегментах, поэтому следует ожидать роста его (сегмента) размера, а также размера и времени осуществления дампа.

PCTVERSION надо подбирать по месту, основываясь на шаблонах использования ("know your data").
...
Рейтинг: 0 / 0
Из серии странных вопросов про expdp
    #40115214
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Asmodeus
Frequency,

Тогда
"RETENTION Parameter for BasicFiles LOBs"You cannot set the value of the RETENTION parameter explicitly. The amount of time for retention of LOB versions in determined by the UNDO_RETENTION parameter.

Дока

При изменении undo_retention на уровне БД, значение retention для LOB не меняется автоматически и надо менять руками:
Код: plsql
1.
SQL> alter table TABLE_NAME modify lob (LOB_COLUMN) (retention);


UNDO для LOB'ов располагается в самих LOB-сегментах, поэтому следует ожидать роста его (сегмента) размера, а также размера и времени осуществления дампа.

PCTVERSION надо подбирать по месту, основываясь на шаблонах использования ("know your data").


Понял изменил в ручную, спс

Код: xml
1.
alter table TABLE_NAME modify lob (LOB_COLUMN) (retention);
...
Рейтинг: 0 / 0
64 сообщений из 64, показаны все 3 страниц
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Из серии странных вопросов про expdp
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]