ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
25 сообщений из 133, страница 4 из 6
  4  все
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39228828
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
Viewer, спасибо. Такая ошибка, весьма вероятно, из-за того, что ОС недопатчена или недоконфигурирована.
...
Рейтинг: 0 / 0
04.05.2016, 09:17
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243118
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Ещё вопросик.

Делала дамп всей базы 13 часов
expdp parallel=24

Загружаю дам в новую БД
impdp parallel=24

Данные загрузились примерно за 13 часов,
уже 2 суток строятся индексы.

парамерт parallel доступен в интерактивном режиме.

Ускорит ли процесс увеличение parallel ?
...
Рейтинг: 0 / 0
25.05.2016, 12:34
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243191
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
https://asktom.oracle.com/pls/apex/f?p=100:11:::YES:RP:P11_QUESTION_ID:1412203938893 We'll work better where you have more processes then CPUs. Especially with indexing.
indexing is IO intensive. We'll have lots of times where we are waiting on IO and not
using the CPU. Having more processes then CPUs will help utilize them fully. This
assumes of course you are doing this off hours.
?
...
Рейтинг: 0 / 0
25.05.2016, 13:31
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243274
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
AlionaЕщё вопросик.

Делала дамп всей базы 13 часов
expdp parallel=24

Загружаю дам в новую БД
impdp parallel=24

Данные загрузились примерно за 13 часов,
уже 2 суток строятся индексы.

парамерт parallel доступен в интерактивном режиме.

Ускорит ли процесс увеличение parallel ?

а что лонгопс говорит?
...
Рейтинг: 0 / 0
25.05.2016, 15:00
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243348
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.log
а что лонгопс говорит?
лонгопс говорит:
1611658 out of 1611666 MB done

Но это он говорит сегодня утром и сейчас в 16:30,
а за это время уже создалось 300 индексов.
...
Рейтинг: 0 / 0
25.05.2016, 16:31
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243352
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Ситуация такая.
В серверу с работающей промышленной базой подключили новые диски.

На них выгрузила дамп.
Создала новую БД, в неё гружу дамп, это пока в тестовом режиме.

sar -г и top говорят, что CPU на 86-90% свободен.

Когда БД буду пересоздавать на чистовую, старую БД остановлю,
в новой БД значительно увеличу init-параметры памяти.
И вот ещё придумала увеличить parallel.

Пока ещё не решила поможет ли увеличение parallel.
Ask Tom ещё не читала.
...
Рейтинг: 0 / 0
25.05.2016, 16:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243441
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Alionatrace.logа что лонгопс говорит?
лонгопс говорит:
1611658 out of 1611666 MB done

Но это он говорит сегодня утром и сейчас в 16:30,
а за это время уже создалось 300 индексов.

Неужели не отображает время??! Странно.
...
Рейтинг: 0 / 0
25.05.2016, 18:37
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243680
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logAlionaпропущено...

лонгопс говорит:
1611658 out of 1611666 MB done

Но это он говорит сегодня утром и сейчас в 16:30,
а за это время уже создалось 300 индексов.

Неужели не отображает время??! Странно.
time_remaining ?
показывает

для сесии импорта говорит:
SYS_IMPORT_FULL_01
1611658 out of 1611666 MB done
time_remaining=1

Других сессий показывает время в секундах.

Вчера в конце рабочего дня увеличила parallel=24 --> parallel=30
Сегодня утром увидела что количество сессий строящих индексы
увеличилось с 24 до 26 , но не до 30, хотя надо ещё построить 200 индексов.

Увеличение parallel уменьшает time_remaining для каждого индекса ?
...
Рейтинг: 0 / 0
26.05.2016, 09:46
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243688
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Alionatrace.logпропущено...


Неужели не отображает время??! Странно.
time_remaining ?
показывает

для сесии импорта говорит:
SYS_IMPORT_FULL_01
1611658 out of 1611666 MB done
time_remaining=1

Других сессий показывает время в секундах.

Вчера в конце рабочего дня увеличила parallel=24 --> parallel=30
Сегодня утром увидела что количество сессий строящих индексы
увеличилось с 24 до 26 , но не до 30, хотя надо ещё построить 200 индексов.

Увеличение parallel уменьшает time_remaining для каждого индекса ?

Параллель должна увеличивать кол-во процессов, соответьсвенно должно уменьшится общее время выполнения, возможно что при построении индексов time_remaining не меняется вообще.
...
Рейтинг: 0 / 0
26.05.2016, 09:54
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243712
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.log
Параллель должна увеличивать кол-во процессов, соответьсвенно должно уменьшится общее время выполнения, возможно что при построении индексов time_remaining не меняется вообще.
Количество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30

time_remaining изменяется, я мониторю.
Раз все-таки количество процессов увеличилось, значит, дело пошло быстрее.

Протокол мне выложить проблематично, интернет на другой компе. :(
...
Рейтинг: 0 / 0
26.05.2016, 10:09
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243946
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
помониторить, сессии индексовые temp используют? Если активно, то увеличивать PGA, или в этих сессиях workarea_size_policy=manual и выкручивать sort_area_size.

или не доверять создание индексов impdp ( EXCLUDE=INDEXES), и создавать их скриптом, с PARALLEL для толстых индексов.
...
Рейтинг: 0 / 0
26.05.2016, 12:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244144
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111или не доверять создание индексов impdp ( EXCLUDE=INDEXES), и создавать их скриптом, с PARALLEL для толстых индексов.

Ха, создавать скриптом 1,5 тыр. индексов!
"На это я пойтить не могу."
...
Рейтинг: 0 / 0
26.05.2016, 15:20
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244170
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Памяти у меня пока для тестовой Бд совсем мало,
sga= 50 G,
поскольку роботает ещё и пром. база.

На сервере 512 G оперативной памяти.
Пром. база sga=250 G
тестовая база sga=50 G.

Когда загрузку дампа буду проводить на чистовыю.
Остановлю старую прои. базу.
Новой БД собиралась выделить sga=250 G.
А теперь думаю, что надо намного больше, хотябы на время загрузки дампа, для построения индексов.

Мониторю.
Табличка небольшая, всего 200 G, индексы уже строятся несколько часов.
Смотрю на пром базе:
у этой таблицы 15 индексов, из них 14 шт. с функциями.

Вопросик.
Чтобы построить 15 индексов, таблица сканируется 15 раз ?
...
Рейтинг: 0 / 0
26.05.2016, 15:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244175
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111Viewer, спасибо. Такая ошибка, весьма вероятно, из-за того, что ОС недопатчена или недоконфигурирована.

Киньте, плииз, ссылочку, что надо докунфигурить в ОС.
Похоже, на сервере давно проблемы с Input/Output.
...
Рейтинг: 0 / 0
26.05.2016, 15:43
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244495
KoTTT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KoTTT
Участник
AlionaНовой БД собиралась выделить sga=250 G.
А теперь думаю, что надо намного больше, хотябы на время загрузки дампа, для построения индексов.
Может все же лучше PGA увеличить на время создания индексов?
AlionaВопросик.
Чтобы построить 15 индексов, таблица сканируется 15 раз ?
Ну да, а как иначе?
...
Рейтинг: 0 / 0
27.05.2016, 08:19
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244543
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
KoTTTНу да, а как иначе?Можно было бы разделить обязанности (конвейер) - чтец поставляет данные сразу нескольким сортировщикам. Затраты IO - одно последовательное чтение. Больше одновременно занятой памяти, будут частично простаивать более узкие, многонуллные индексы . Но общее время будет соответствовать самому тяжелому.
...
Рейтинг: 0 / 0
27.05.2016, 09:21
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244595
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
[quot KoTTT]AlionaМожет все же лучше PGA увеличить на время создания индексов?

И PGA буду увеличивать. 200G
...
Рейтинг: 0 / 0
27.05.2016, 10:13
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244599
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
-2-KoTTTНу да, а как иначе?Можно было бы разделить обязанности (конвейер) - чтец поставляет данные сразу нескольким сортировщикам. Затраты IO - одно последовательное чтение. Больше одновременно занятой памяти, будут частично простаивать более узкие, многонуллные индексы . Но общее время будет соответствовать самому тяжелому.
А как это сделать?
...
Рейтинг: 0 / 0
27.05.2016, 10:16
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244688
Oleg M.Ivanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oleg M.Ivanov
Гость
Aliona,

Так в чем задача стоит? Чисто перенести базу на новые уже подключенные диски или еще одновременно "почистить" свободное место в файлах базы через expdp/impdp? Я так понял, что все остается прежним, кроме дискового пространства. Если просто перенести, то не проще ли чисто скопировать файлы?
...
Рейтинг: 0 / 0
27.05.2016, 11:23
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244693
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Oleg M.IvanovAliona,

Так в чем задача стоит? Чисто перенести базу на новые уже подключенные диски или еще одновременно "почистить" свободное место в файлах базы через expdp/impdp? Я так понял, что все остается прежним, кроме дискового пространства. Если просто перенести, то не проще ли чисто скопировать файлы?

вы просто не в теме )) там битый UNDO, поэтому такая свистопляска
...
Рейтинг: 0 / 0
27.05.2016, 11:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244771
Oleg M.Ivanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oleg M.Ivanov
Гость
trace.logвы просто не в теме )) там битый UNDO, поэтому такая свистопляска
Глянул всю тему, теперь в теме. :))
Кто же мешает создать новое UNDO, а затем сказать системе alter system set undo_tablespace="новое UNDO" , подождать пока старое полностью освободится(бывает не очень быстро) и затем его грохнуть? Если это чисто ради этого затевается, то вааще не понятно зачем такой гемор с экспортом/импортом?
...
Рейтинг: 0 / 0
27.05.2016, 12:28
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244825
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Oleg M.Ivanovtrace.logвы просто не в теме )) там битый UNDO, поэтому такая свистопляска
Глянул всю тему, теперь в теме. :))
Кто же мешает создать новое UNDO, а затем сказать системе alter system set undo_tablespace="новое UNDO" , подождать пока старое полностью освободится(бывает не очень быстро) и затем его грохнуть? Если это чисто ради этого затевается, то вааще не понятно зачем такой гемор с экспортом/импортом?
В темы въехали не до конца :)
...
Рейтинг: 0 / 0
27.05.2016, 13:03
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244829
imabeliever
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
imabeliever
Гость
AlionaКоличество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30


Был такой вот баг, точнее enhancement:
Bug 5629423 : DATAPUMP DOES NOT CREATE THE INDEXES IN PARALLEL
Why Isn't Datapump Creating Multiple Indexes in Parallel? (Doc ID 402511.1)

Я столкнулся с этим не так давно на 12.1.0.2. Судя по сообщению, у вас индексы создаются в параллель, поэтому интересно, что у вас за версия?
...
Рейтинг: 0 / 0
27.05.2016, 13:07
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244912
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
AlionaOleg M.Ivanovпропущено...

Глянул всю тему, теперь в теме. :))
Кто же мешает создать новое UNDO, а затем сказать системе alter system set undo_tablespace="новое UNDO" , подождать пока старое полностью освободится(бывает не очень быстро) и затем его грохнуть? Если это чисто ради этого затевается, то вааще не понятно зачем такой гемор с экспортом/импортом?
В темы въехали не до конца :)
2 Oleg M.Ivanov
FYI
19082389
...
Рейтинг: 0 / 0
27.05.2016, 14:25
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244945
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
AlionaNobody1111или не доверять создание индексов impdp ( EXCLUDE=INDEXES), и создавать их скриптом, с PARALLEL для толстых индексов.

Ха, создавать скриптом 1,5 тыр. индексов!
"На это я пойтить не могу."
Только хардкор, только скриптом ручной работы на 35000 одних курьеров индексов!

AlionaNobody1111Viewer, спасибо. Такая ошибка, весьма вероятно, из-за того, что ОС недопатчена или недоконфигурирована.

Киньте, плииз, ссылочку, что надо докунфигурить в ОС.
Похоже, на сервере давно проблемы с Input/Output.
Да в одном месте такого кунфугурения не видел, всё как-то обрывками. Ну хотя бы max_phys в /etc/system стоит?
...
Рейтинг: 0 / 0
27.05.2016, 14:49
| Ответить | Цитировать | Написать  
25 сообщений из 133, страница 4 из 6
  4  все
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&msg=39244170&tid=1885797]:
 0ms
get settings:
 8ms
get forum list:
 18ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 190ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 66ms
get tp. blocked users:
 1ms
others: 217ms
total:  517ms
созд. / загр.: 517ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]