ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
25 сообщений из 133, страница 5 из 6
  5  все
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39245042
Oleg M.Ivanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oleg M.Ivanov
Гость
Viewer2 Oleg M.Ivanov
FYI
19082389
А, ну теперь понятно, давненько сюда не заходил и другие ветки не читал. Просто активных транзакций за такой долгий период уже ни как не должно было остаться и там правильные советы давали с отключением битого сегмента. Обычно, таким образом поднимаются базы с битым UNDO, у него все-равно этот сегмент битый и его уже, я так понимаю, не починить из-за отсутствия бекапов.

Я бы в данной ситуации слил expdp целиком всю базу(это чисто для подстраховки), т.е. с параметром full=y , и дальше переключил на новое UNDO, а от старого избавился. И из этого топика, я так понял, Алена пытается оценить время как раз если вдруг что-то не срастется и придется импортировать базу. Ну тогда все логично, типа сказать начальству, что "в случае чего, функционирование базы будет восстанавливаться столько-то". В этом случае, мой совет, т.к. тут не увидел подобного, когда делать экспорт, то очень желательно и, я бы сказал, обязательно, отключить всех пользователей от базы, остановить все job'ы, т.е. база не должна вообще проявлять ни какой активности. Так же, параметр undo_retention выставить заведомо большим, чем займет по времени вся процедура. "Плавали, знаем". Иначе, можно поиметь несоответствие данных, особенно foreign key, если таковые имеются и недосчитаться некоторых данных, которые появятся в базе после прохождением экспорта конкретной таблицы, а в нее после этого еще чего-то наработалось. Параметр consistent=y ни разу не помог, сколько не пытались. Возможно, он на маленьких базах помогает, но нам ни разу не помог, поэтому проще базу экспортировать в DATA PUMP в остановленном виде. Простой exp работает правильно, но он ужасно неприемлемо медленный по сравнению с DATA PUMP.
...
Рейтинг: 0 / 0
27.05.2016, 15:54
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39245077
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
Oleg M.Ivanov... переключил на новое UNDO ...Так же, параметр undo_retention ...
:)
AlionaВ темы въехали не до конца :)
2 Oleg M.Ivanov
19112607
...
Рейтинг: 0 / 0
27.05.2016, 16:08
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246242
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111
Похоже, на сервере давно проблемы с Input/Output.

Да в одном месте такого кунфугурения не видел, всё как-то обрывками. Ну хотя бы max_phys в /etc/system стоит?

Проверила
cat /etc/system |grep max_phys

нет такого :(
Не стоит.
...
Рейтинг: 0 / 0
30.05.2016, 14:53
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246247
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Oleg M.Ivanov,

Битый UNDO никогда не освободиться, никогда не удалиться, и из-за него нельзя использовать метод TTS для пересоздания БД, потому что не все пользовательские TS переводятсся в READ ONLY.

Кроме того БД с битым UNDO не открывается. :(

Это всё в теме было описано.
...
Рейтинг: 0 / 0
30.05.2016, 14:57
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246255
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
AlionaNobody1111Похоже, на сервере давно проблемы с Input/Output.

Да в одном месте такого кунфугурения не видел, всё как-то обрывками. Ну хотя бы max_phys в /etc/system стоит?

Проверила
cat /etc/system |grep max_phys

нет такого :(
Не стоит.

cat /etc/system |grep maxphys
тоже нет
...
Рейтинг: 0 / 0
30.05.2016, 15:03
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246271
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Oleg M.IvanovViewer2 Oleg M.Ivanov
FYI
19082389

И из этого топика, я так понял, Алена пытается оценить время ...
Алёна уже давно все сделала. :)

В Ваш неформатированный текст читать очень сложно.
...
Рейтинг: 0 / 0
30.05.2016, 15:14
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246297
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111 Ну хотя бы max_phys в /etc/system стоит?

Вот нашла:
Tune Solaris System and Driver Parameters for Anticipated File System I/O

https://docs.oracle.com/cd/E51305_01/en/E42062/html/confighostos.htm
...
Рейтинг: 0 / 0
30.05.2016, 15:38
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246863
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
imabelieverAlionaКоличество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30


Был такой вот баг, точнее enhancement:
Bug 5629423 : DATAPUMP DOES NOT CREATE THE INDEXES IN PARALLEL
Why Isn't Datapump Creating Multiple Indexes in Parallel? (Doc ID 402511.1)

Я столкнулся с этим не так давно на 12.1.0.2. Судя по сообщению, у вас индексы создаются в параллель, поэтому интересно, что у вас за версия?

Oracle 11.2.0.4,
но тоже есть непонятное:

Во время чистовой заливки базы увеличила sga и pga намного, в 5 раз.
Заливка таблиц ускорилась незначительно с 13 часов до 10 часов,
а индексы создаются с такой же скоростью.
...
Рейтинг: 0 / 0
31.05.2016, 11:02
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246899
Фотография Fogel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fogel
Участник
DataPump при работе создаёт кучу джобов, которые при большом кол-ве параллелизма могут упереться в ограничения параметра
job_queue_processes
Этот параметр проверьте и при необходимости увеличьте.
...
Рейтинг: 0 / 0
31.05.2016, 11:22
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246910
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
imabelieverAlionaКоличество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30


Был такой вот баг, точнее enhancement:
Bug 5629423 : DATAPUMP DOES NOT CREATE THE INDEXES IN PARALLEL
Why Isn't Datapump Creating Multiple Indexes in Parallel? (Doc ID 402511.1)

Я столкнулся с этим не так давно на 12.1.0.2. Судя по сообщению, у вас индексы создаются в параллель, поэтому интересно, что у вас за версия?
В ноте сказано, что патч надо ставить и для 12.1.0.2, и для 11.2.0.4
У меня патч не стоит, проверила.

Вот как я мониторю:
автор SELECT username,opname,target_desc,sofar,totalwork,message, TIME_REMAINING,SID FROM v$session_longops where TIME_REMAINING>0;

USERNAME OPNAME TARGET_DESC SOFAR TOTALWORK MESSAGE TIME_REMAINING SID
------------ -------------------- ----------- ---------- ---------- -------------------------------------------------------------------------------- -------------- ----------
TT Rowid Range Scan 14693 100761 Rowid Range Scan: TT.IM: 14693 out of 100761 Blocks done 111 2901
TT Rowid Range Scan 7119 158105 Rowid Range Scan: TT.IM: 7119 out of 158105 Blocks done 403 3
TT Rowid Range Scan 8196 133529 Rowid Range Scan: TT.IM: 8196 out of 133529 Blocks done 291 256
TT Rowid Range Scan 7016 141721 Rowid Range Scan: TT.IM: 7016 out of 141721 Blocks done 365 1265
TT Rowid Range Scan 8629 133529 Rowid Range Scan: TT.IM: 8629 out of 133529 Blocks done 275 950
TT Rowid Range Scan 7780 199073 Rowid Range Scan: TT.IM: 7780 out of 199073 Blocks done 467 697
TT Rowid Range Scan 8510 133529 Rowid Range Scan: TT.IM: 8510 out of 133529 Blocks done 279 2775
TT Rowid Range Scan 7124 158105 Rowid Range Scan: TT.IM: 7124 out of 158105 Blocks done 403 2838
TT Rowid Range Scan 7648 223641 Rowid Range Scan: TT.IM: 7648 out of 223641 Blocks done 508 2144
TT Rowid Range Scan 7722 166297 Rowid Range Scan: TT.IM: 7722 out of 166297 Blocks done 390 1010
TT Rowid Range Scan 7739 149913 Rowid Range Scan: TT.IM: 7739 out of 149913 Blocks done 349 2964
TT Rowid Range Scan 7324 158105 Rowid Range Scan: TT.IM: 7324 out of 158105 Blocks done 371 1454
TT Rowid Range Scan 3007 199073 Rowid Range Scan: TT.IM: 3007 out of 199073 Blocks done 522 446
SYSTEM SYS_IMPORT_FULL_01 IMPORT 1593698 1593705 SYS_IMPORT_FULL_01: IMPORT : 1593698 out of 1593705 MB done 1 2269
TT Rowid Range Scan 7542 199073 Rowid Range Scan: TT.IM: 7542 out of 199073 Blocks done 483 1391
TT Rowid Range Scan 9063 100761 Rowid Range Scan: TT.IM: 9063 out of 100761 Blocks done 192 319
TT Rowid Range Scan 7815 158105 Rowid Range Scan: TT.IM: 7815 out of 158105 Blocks done 365 1199
TT Rowid Range Scan 8437 141721 Rowid Range Scan: TT.IM: 8437 out of 141721 Blocks done 300 1641
TT Rowid Range Scan 8088 174497 Rowid Range Scan: TT.IM: 8088 out of 174497 Blocks done 391 66
TT Rowid Range Scan 9630 149914 Rowid Range Scan: TT.IM: 9630 out of 149914 Blocks done 277 634
TT Rowid Range Scan 8390 133529 Rowid Range Scan: TT.IM: 8390 out of 133529 Blocks done 283 193
TT Rowid Range Scan 7432 125345 Rowid Range Scan: TT.IM: 7432 out of 125345 Blocks done 301 1073
TT Rowid Range Scan 6980 149913 Rowid Range Scan: TT.IM: 6980 out of 149913 Blocks done 369 508
TT Rowid Range Scan 8555 125337 Rowid Range Scan: TT.IM: 8555 out of 125337 Blocks done 259 1392
TT Rowid Range Scan 19231 108953 Rowid Range Scan: TT.IM: 19231 out of 108953 Blocks done 89 821
TT Rowid Range Scan 8089 149913 Rowid Range Scan: TT.IM: 8089 out of 149913 Blocks done 333 1139
TT Rowid Range Scan 7618 190873 Rowid Range Scan: TT.IM: 7618 out of 190873 Blocks done 457 884
TT Rowid Range Scan 8463 133529 Rowid Range Scan: TT.IM: 8463 out of 133529 Blocks done 281 382
TT Rowid Range Scan 7285 203169 Rowid Range Scan: TT.IM: 7285 out of 203169 Blocks done 511 571
TT Rowid Range Scan 11445 215457 Rowid Range Scan: TT.IM: 11445 out of 215457 Blocks done 339 130

30 rows selected.
...
Рейтинг: 0 / 0
31.05.2016, 11:27
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246913
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
Alionaа индексы создаются с такой же скоростью.
было предложение от Nobody1111, но по топику отклик не нашёл...
Nobody1111Помониторить, сессии индексовые temp используют? Если активно, то ... в этих сессиях workarea_size_policy=manual и выкручивать sort_area_size.
т.е. что-то вроде
alter session set workarea_size_policy=manual;
alter session set sort_area_size=1073741824;
alter session set db_file_multiblock_read_count=128;

Не знаю как в вашем случае, но у нас иногда таким образом выкручиваюся, когда TEMP увеличить нет возможности, а индексы для перестройки гроздки (ну и скорость перестроения выше. Насколько - статитики к сожалению у меня нет).
...
Рейтинг: 0 / 0
31.05.2016, 11:28
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246916
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
одна таблица сканируется 29 сессиями, а потом будет сортировка таким-же количеством сессий, или чуть меньшим.
...
Рейтинг: 0 / 0
31.05.2016, 11:30
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246921
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
P.S.
для impdp, видимо, это придётся временно делать на уровне параметров инициализации экземляра
...
Рейтинг: 0 / 0
31.05.2016, 11:33
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246924
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
ViewerAlionaа индексы создаются с такой же скоростью.
было предложение от Nobody1111, но по топику отклик не нашёл...
Nobody1111Помониторить, сессии индексовые temp используют? Если активно, то ... в этих сессиях workarea_size_policy=manual и выкручивать sort_area_size.
т.е. что-то вроде
alter session set workarea_size_policy=manual;
alter session set sort_area_size=1073741824;
alter session set db_file_multiblock_read_count=128;

Не знаю как в вашем случае, но у нас иногда таким образом выкручиваюся, когда TEMP увеличить нет возможности, а индексы для перестройки гроздки (ну и скорость перестроения выше. Насколько - статитики к сожалению у меня нет).

Да, на солярисе максимум sort_area_size, до которого можно: 2gb - 1b, уж не знаю почему.
...
Рейтинг: 0 / 0
31.05.2016, 11:35
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246926
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
FogelDataPump при работе создаёт кучу джобов, которые при большом кол-ве параллелизма могут упереться в ограничения параметра
job_queue_processes
Этот параметр проверьте и при необходимости увеличьте.
job_queue_processes=1000
...
Рейтинг: 0 / 0
31.05.2016, 11:35
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246929
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
ViewerP.S.
для impdp, видимо, это придётся временно делать на уровне параметров инициализации экземляра

Или в триггере на логон
...
Рейтинг: 0 / 0
31.05.2016, 11:38
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246945
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
У меня сейчас
авторworkarea_size_policy=AUTO;
sort_area_size=65536;
db_file_multiblock_read_count=128;
...
Рейтинг: 0 / 0
31.05.2016, 11:45
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246985
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
imho, есть смысл всё же попробовать поменять, и, как сказал Nobody, видимо лучше через триггер на логон.
...
Рейтинг: 0 / 0
31.05.2016, 12:03
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246998
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
P.S.
видимо лучше через триггер на логон
Кстати, дочерние процессы, при параллельных операциях, все ли параметры наследуют от родительского процесса? Кто знает?
...
Рейтинг: 0 / 0
31.05.2016, 12:08
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247010
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Viewerimho, есть смысл всё же попробовать поменять, и, как сказал Nobody, видимо лучше через триггер на логон.
Тут мне не совсем понятно.

Вижу например сессия sid=2901 сканирует таблицу t1,
потом через 15 мин эта же сессия sid=2901 сканирует таблицу t2.

Новые сессии не образуются, как триггер на логон поможет ?
...
Рейтинг: 0 / 0
31.05.2016, 12:15
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247021
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
AlionaНовые сессии не образуются, как триггер на логон поможет ?
ммм... как бы не предлагась делать это на лету во время уже запущенного процесса импорта.
...
Рейтинг: 0 / 0
31.05.2016, 12:23
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247023
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
ViewerAlionaНовые сессии не образуются, как триггер на логон поможет ?
ммм... как бы не предлагась делать это на лету во время уже запущенного процесса импорта.
Ааааа....
А у меня сейчас уже чистовая заливка базы подходит к концу, ночью закончится.
...
Рейтинг: 0 / 0
31.05.2016, 12:26
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247027
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
ViewerP.S.
видимо лучше через триггер на логон
Кстати, дочерние процессы, при параллельных операциях, все ли параметры наследуют от родительского процесса? Кто знает?

В данной ситуации как бы по барабану: если через параметр инициализации, при порождении сессии из слейвового процесса будет использоваться общий параметр. При триггере написать триггер так, чтобы параллельным сессиям тоже выставлял.

А вообще, насколько помню, у меня не подхватывали параллельные сессии sort_area_size от QC.
...
Рейтинг: 0 / 0
31.05.2016, 12:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247040
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Q.Tarantino
Участник
AlionaА у меня сейчас уже чистовая заливка базы подходит к концу, ночью закончится.
ну и пусть работает, не трожь :)
...
Рейтинг: 0 / 0
31.05.2016, 12:37
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247114
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Q.TarantinoAlionaА у меня сейчас уже чистовая заливка базы подходит к концу, ночью закончится.
ну и пусть работает, не трожь :)
Я трогать и не собираюсь.

Народ предлагает ускорить построение индексов в impdp, надо же до конца выяснить, вдруг, когда-нибудь пригодится.
...
Рейтинг: 0 / 0
31.05.2016, 13:18
| Ответить | Цитировать | Написать  
25 сообщений из 133, страница 5 из 6
  5  все
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&msg=39246255&tid=1885797]:
 0ms
get settings:
 10ms
get forum list:
 18ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 193ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 54ms
get tp. blocked users:
 1ms
others: 242ms
total:  538ms
созд. / загр.: 538ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]