ReSQL.ru
     
powered by simpleCommunicator - 2.0.29     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Из серии странных вопросов про expdp
25 сообщений из 64, страница 1 из 3
  1  все
Из серии странных вопросов про expdp
    #40112731
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Если база слишком большая и expdp продолжается больше чем сутки да и прописан compression=all, что замедляет сам процесс expdp.

Крон выставлен ежедневно в одно и тоже время.

1). Как быть в таком случае ?
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?
...
Рейтинг: 0 / 0
18.11.2021, 09:21
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112741
Фотография shane54
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
shane54
Участник
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.
...
Рейтинг: 0 / 0
18.11.2021, 10:35
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112751
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
shane54
Frequency
2). Запустится ли 2-ой expdp на след. день если 1-ый еще не закончился ?


А самому проверить и узнать ответ?
Не через cron, а просто вручную, чтоб не ждать.

Только не используйте параметр JOB_NAME, тогда Data Pump будет генерировать уникальные имена для Master Table с "_01", "_02" и тд в названии.



Проверил спс, можно ли ускорить как-то с compression=all exdp ?

Сжатие нужно т.к. данных много а место мало на диске
...
Рейтинг: 0 / 0
18.11.2021, 11:08
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112753
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency,

Параллелизм?
...
Рейтинг: 0 / 0
18.11.2021, 11:12
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112763
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Asmodeus
Frequency,

Параллелизм?



можете по конкретней буду благодарен , спс
...
Рейтинг: 0 / 0
18.11.2021, 11:35
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112766
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Asmodeus
Frequency,

Параллелизм?


Код: xml
1.
For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files




допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?
...
Рейтинг: 0 / 0
18.11.2021, 11:40
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112769
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency,

Проводить экспорт с указанием степени параллелизма:

Код: plsql
1.
expdp <user>/<password>@<sid> schemas=SH parallel=4 directory=DP_DIR dumpfile=sh_%U.dmp
...
Рейтинг: 0 / 0
18.11.2021, 11:43
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112771
SQL*Plus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SQL*Plus
Участник
Frequency
Asmodeus
Frequency,

Параллелизм?


Код: xml
1.
For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of output dump files




допустим у меня такое условие , expdp system/pass dumpfile=test ... , (один дамп файл)

тут PARALLEL=1 ставить ?

Выгружайте в несколько дампфайлов.
Должно получиться быстрее.

Кроме того, если у вас экспорт может идти больше суток, тогда и дампфайл может получиться ОГРОМНЫЙ.
Оно вам нужно?

N.B. Для использования COMPRESSION=ALL требуется лицензирование опции Advanced Compression.
...
Рейтинг: 0 / 0
18.11.2021, 11:45
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112778
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.
...
Рейтинг: 0 / 0
18.11.2021, 11:58
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112784
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Понял спасибо
...
Рейтинг: 0 / 0
18.11.2021, 12:04
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112888
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Asmodeus
Frequency
1). Как быть в таком случае ?
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
...
Рейтинг: 0 / 0
18.11.2021, 16:16
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112898
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency
Asmodeus
пропущено...
Разобраться, зачем используется такой инструмент и или попробовать оптимизировать его (исключить не изменяющиеся данные; проводить его реже; грузить, как уже было сказано больше (параллелизм)), или поискать другой инструмент.



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?
...
Рейтинг: 0 / 0
18.11.2021, 16:38
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112919
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Asmodeus
Frequency
пропущено...



опираюсь на ваш опыт, колько параллельных нужно поставить на 800 гигов ?
А какая сеть (если по сети), куда льете, сколько CPU на сервере? Ну и версию тогда уж озвучивать.

И вообще: какую задачу решаете с помощью Data Pump?



1). На смонтированный диск.
2). 4 CPU , 64 RAM
3). Oracle linux 8, DB 19c
4). Кроме инрементального RMAN , ежедневный датапамп одной сxемы
...
Рейтинг: 0 / 0
18.11.2021, 17:08
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112921
dmdmdm
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dmdmdm
Участник
ежедневный датапамп одной сxемы

Прям так критична вся схема?

Обычно требуется только часть. Expdp Query.
...
Рейтинг: 0 / 0
18.11.2021, 17:14
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112927
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency,

Оракл говорит, что начинать надо с cpu_count*2 и дальше тюнить по обстоятельствам. Я предпочитаю идти "снизу" (особенно, если параллельно с дампом еще какие-то работы могут быть). Следует учитывать, что экспорт LOB-сегментов не параллелится, минимальной гранулой для datapump является таблица (секция/подсекция, если таблица секционирована). Если в схеме есть несколько больших таблиц, то возможно лучшим способом будет дампить их отдельными задачами.

Как пример: в 4 потока 2,5 ТВ БД с LOB'ами по 1 Gb/sec сети утаскивается за 12 часов. Долговато, но народ устраивает.

P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?
P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)
...
Рейтинг: 0 / 0
18.11.2021, 17:29
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112942
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

Код: xml
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1




Я выставил parallel=4 или все таки 3 хватит , то есть этот процесс идет на 2-ом ноде
...
Рейтинг: 0 / 0
18.11.2021, 18:03
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112944
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Asmodeus


P.P.S: а для чего потом этот дамп используется? Рядом полежать? :)



Ежедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки
...
Рейтинг: 0 / 0
18.11.2021, 18:07
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112945
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
.
...
Рейтинг: 0 / 0
18.11.2021, 18:08
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112946
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency
Asmodeus


P.S. 4 CPU - это 4 ядра или 4 vCPU от виртуализации?


То есть 12 часов меня устроит на 800 гигов с 4 параллелизмом.

Код: xml
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
lscpu 

Architecture:        x86_64
CPU op-mode(s):      32-bit, 64-bit
Byte Order:          Little Endian
CPU(s):              4
On-line CPU(s) list: 0-3
Thread(s) per core:  1
Core(s) per socket:  1
Socket(s):           4
NUMA node(s):        1


Судя по виду, какая-то виртуализация.

Frequency
Я выставил parallel=4
Я бы даже начал с двух. Не забудьте про dumpfile=dump_%U.dmp, ибо For Data Pump Export, the PARALLEL parameter value should be less than or equal to the number of dump files.
...
Рейтинг: 0 / 0
18.11.2021, 18:09
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112947
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
Asmodeus,

Да вы правы виртуализация
...
Рейтинг: 0 / 0
18.11.2021, 18:10
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112954
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency,

Наверно начните с двух, т.к. не понятно, какие свойства у подмонтированного диска (может стать узким местом).
...
Рейтинг: 0 / 0
18.11.2021, 18:25
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112966
Фотография SY
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SY
Участник
Frequency

Крон выставлен ежедневно в одно и тоже время.


А что за необходимость в ежедневном expdp? Да и смысл он имеет только при flashback_time/flashback_scn что само по себе замедляет экспорт (и возможно существенно).

SY.
...
Рейтинг: 0 / 0
18.11.2021, 19:18
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40112977
Фотография shane54
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
shane54
Участник
FrequencyЕжедневный full бэкап кроме RMAN, на стороннний смонтированный диск в целях страховки

Т.е. Вы как бы RMAN'у не доверяете? Может лучше тогда просто в ежедневный скрипт бекапа добавить CHECK LOGICAL, или RESTORE PREVIEW / VALIDATE, чтобы "перепроверять" что там RMAN набекапил?

Возвращаясь к теме - так в этой схеме идёт ежедневная разработка, или это таки Production? Просто 800 ГБ, и "всё нужное" немного смущает. Вряд ли на Prod системе допустим экспорт, длящийся сутки. К тому же, как выше заметили, если Вы делаете консистентный экспорт (а Вы же делаете?). Т.е. экспорт с FLASHBACK_TIME=SYSTIMESTAMP, правда? (иначе зачем это все..?). Представьте нагрузку на Undo в течение этих суток, я к этому.

Если разработка - обычно для "страховки" хватает делать экспорт METADATA_ONLY, чтобы сохранять всю структуру системы. Ну и какие-то конфигурационные/важные таблицы, список которых обычно известен.

А если Prod - как уже предлагалось выше, лучше "вложить" час времени, посидеть / подумать и разделить систему (таблицы) на статические и обновляемые. И исключить хотя бы топ 5 или 10 самых больших. И написать в файл параметров экспорта простыню QUERY запросов (и/или INCLUDE/EXCLUDE) на список реально нужных таблиц. А если есть нужные/большие таблицы - отсекать в них только свежие данные, фильтровать их по какому-то признаку (каждую таблицу можно фильтровать отдельно по своему признаку), чтобы только свежие/новые данные экспортировать. Можно даже ссылаться друг на друга в QUERY блоке, можно подзапросы делать - в общем, там очень много можно накрутить. Но это того стОит, потому что экспорт можно действительно очень сильно оптимизировать по времени (ну и по размеру конечно). Главное только "know your data" - все это получится, если Вы владеете знаниями о хранимых данных в таблицах, как они организованы, ссылаются друг на друга и тд.
...
Рейтинг: 0 / 0
18.11.2021, 21:29
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40113006
Фотография Frequency
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Frequency
Участник
shane54,

Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ? И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо
...
Рейтинг: 0 / 0
18.11.2021, 23:40
| Ответить | Цитировать | Написать  
Из серии странных вопросов про expdp
    #40113026
Asmodeus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Asmodeus
Гость
Frequency
Скажите пжт вы бы мне очень помогли, нагрузка на Undo с flashback_time или без ?
С flashback_time при недостаточности undo возможно выпадение "snapshot too old". Т.е. в целом нагрузка на систему подрастет.
Frequency
И сильно ли будет замедлять сам экспорт данный параметр ? Спасибо
Зависит от объема изменений на источнике и необходимости реконструкции данных на момент flashback_time. Не ускорит - это точно.

З.Ы. Привели бы уже скрипт выполнения expdp с файлом параметров (если используется).

З.З.Ы. На почитать.
...
Рейтинг: 0 / 0
19.11.2021, 09:39
| Ответить | Цитировать | Написать  
25 сообщений из 64, страница 1 из 3
  1  все
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Из серии странных вопросов про expdp
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&fpage=7&tid=1879726]:
 0ms
get settings:
 26ms
get forum list:
 15ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 50ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 571ms
get tp. blocked users:
 2ms
others: 381ms
total:  1069ms
созд. / загр.: 1069ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]