ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
133 сообщений из 133, показаны все 6 страниц
  все  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214348
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
...
Рейтинг: 0 / 0
13.04.2016, 10:26
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214355
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
ESTIMATE_ONLY ?
...
Рейтинг: 0 / 0
13.04.2016, 10:30
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214395
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Вячеслав ЛюбомудровESTIMATE_ONLY ?
Спасибо !
...
Рейтинг: 0 / 0
13.04.2016, 10:58
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214473
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
ESTIMATE_ONLY=Y
показывает реальный размер таблиц и их сумму

Total estimation using BLOCKS method: 5800 MB - почти 6 Тб,

а мне нужен размер дампа, чтобы выискать место для него.
...
Рейтинг: 0 / 0
13.04.2016, 11:38
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214486
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
Это и есть приблизительный размер дампа (данные тащить надо все, а вот индексы не надо -- достаточно команды на пересоздание)
Ну и плюс тонкости со сжатыми таблицами (если не DIRECT_PATH, то в дамп они попадут разжатыми) и, соответственно тонкости с DIRECT_PATH (там сжатые таблицы поедут сжатыми, но вот насчет обычных разреженных таблиц точно не скажу, возможно пустое место не поедет, но есть вероятность что блоки поедут как есть)
Ну, а файлов для дампа ты можешь использовать несколько, разложив их по разным местам
...
Рейтинг: 0 / 0
13.04.2016, 11:48
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214769
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
добавила парамерт compression=all

размер не уменьшился :(
...
Рейтинг: 0 / 0
13.04.2016, 15:39
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214842
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Вячеслав Любомудров,
не можете подсказать, сколько приблизительно времени будет дамп заливаться в новую БД?
...
Рейтинг: 0 / 0
13.04.2016, 16:35
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39214894
Фотография Jebrail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jebrail
Участник
AlionaВячеслав Любомудров,
не можете подсказать, сколько приблизительно времени будет дамп заливаться в новую БД?
Никто не может .
...
Рейтинг: 0 / 0
13.04.2016, 17:02
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215130
archlog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
archlog
Гость
Aliona,

Ещё место под журналы предусмотреть. Пробовал грузить БД размером 3 тб так и в выходные не вложились.
...
Рейтинг: 0 / 0
13.04.2016, 22:44
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215272
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
перед заливкой дампа надо архивлог отключить, потом включить.
Я не поняла, 3 Тб загрузились или нет ?
...
Рейтинг: 0 / 0
14.04.2016, 09:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215361
archlog
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
archlog
Гость
Aliona,

Данные так и не перенесли - задачу прибили, переносили данные через "холодную" копию прома.
...
Рейтинг: 0 / 0
14.04.2016, 10:38
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215379
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
На скорость заливки очень сильно влияют типы данных, если много LOB-ов все будет достаточно медленно
Но тебе ничего не мешает выполнять импорт (да и экспорт) в параллель
...
Рейтинг: 0 / 0
14.04.2016, 10:48
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215398
Фотография Fogel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fogel
Участник
Alionaне можете подсказать, сколько приблизительно времени будет дамп заливаться в новую БД?

Здравствуйте.
По многократному опыту подобных операций на Oracle 10-11 при соблюдении следующих условий:
1. expdp делается по 1-й схеме с опцией exclude grants
2. версии экспортируемой БД и импортируемой одинаковы, характеристики серверов сравнимы, экземпляры БД схожи по опциям
3. перед импортом в новую БД создаётся user, куда будет заливаться дамп схемы, со всеми теми же выданными грантами

Импорт всегда (при отсутствии неучтённых ошибок) происходит в полтора-два (или даже больше) раза быстрее, чем экспорт. Такова статистика.
И как правильно подсказали, можно использовать опцию parallel (предварительно оценив кол-во ядер и их текущую загрузку)
...
Рейтинг: 0 / 0
14.04.2016, 11:04
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215670
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Вячеслав ЛюбомудровНо тебе ничего не мешает выполнять импорт (да и экспорт) в параллель
Новоя БД будет на старом месте :)
Такой фокус пройдёт?
...
Рейтинг: 0 / 0
14.04.2016, 14:09
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215684
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
FogelПо многократному опыту подобных операций на Oracle 10-11 при соблюдении следующих условий:
1. expdp делается по 1-й схеме с опцией exclude grants

Чё-то я не поняла, почему посхемно грузить сотни схем быстрее, чем всю базу разом в параллеле?
...
Рейтинг: 0 / 0
14.04.2016, 14:15
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215716
Никто2223
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Никто2223
Гость
Aliona,

Если мне память не изменяет, то это связано с тем, что какой-то ДМЛ не параллелится.
я когда носил большие объемы делал так:
1. Експорт дампа нужных схем
2. Импорт только стркутуры этих данных на целевую БД (metadata_only)
3. Удаление констрейнтов/индексов руками (они тормозят импорт)
4. Импорт данных в созданную структуру (DATA_ONLY)
5. Восстановление индексов, пк и фк (фк при валидации медленно работает если поля не индексированы) руками же хоть с parallel, хоть в К потоков.
...
Рейтинг: 0 / 0
14.04.2016, 14:31
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215742
Фотография Fogel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fogel
Участник
AlionaFogelПо многократному опыту подобных операций на Oracle 10-11 при соблюдении следующих условий:
1. expdp делается по 1-й схеме с опцией exclude grants

Чё-то я не поняла, почему посхемно грузить сотни схем быстрее, чем всю базу разом в параллеле?

акцент был не на этом, а на том, что импорт идёт быстрее, чем экспорт при определённом наборе условий (в случае с переносом одной схемы).
...
Рейтинг: 0 / 0
14.04.2016, 14:41
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39215910
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Я особо не тороплюсь, мне надо для начальства просто оценить, сколько пересоздание БД займет времени.
Плюс-минус сутки в данной проблеме роли не играют :)
...
Рейтинг: 0 / 0
14.04.2016, 16:16
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39216065
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
Никто2223Aliona,

Если мне память не изменяет, то это связано с тем, что какой-то ДМЛ не параллелится. Параллелить DML/DDL совсем не обязательно, если экспорт был сделан в несколько потоков (и файлов, соответственно), то и импорт можно будет запустить так, чтоб каждый подчиненнный процесс заливал из своего файла (PARALLEL <= количеству дамп-файлов), а не лезли всем колхозом в один файл, мешаясь друг другу
Если еще и файлы дампа разложены на разных устройствах -- вообще замечательно
Никто22231. Експорт дампа нужных схем
2. Импорт только стркутуры этих данных на целевую БД (metadata_only)
3. Удаление констрейнтов/индексов руками (они тормозят импорт)
4. Импорт данных в созданную структуру (DATA_ONLY)
5. Восстановление индексов, пк и фк (фк при валидации медленно работает если поля не индексированы) руками же хоть с parallel, хоть в К потоков.Если заливать в пустую БД, то ничего удалять и восстанавливать не придется, ибо индексы и констрейнты поднимутся только после заливки данных
Хотя, так действительно можно увеличить количество потоков пересоздания индексов (если PARALLEL не достаточно), но ведь PARALLEL можно увеличить и в процессе импорта

Конечно, все это только если редакция позволяет
...
Рейтинг: 0 / 0
14.04.2016, 18:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39218945
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Solaris SPARC, дисков нет и не предвидеться, дамп некуда класть.

А нельзя ли как-нибудь извратиться, чтобы дамп сливать на ленту? мне кажется, нельзя,может, кто-нибудь такой фокус проделывал.
Если сетевые диски подключить с других серверов, насколько это надёжно для датапампа?
...
Рейтинг: 0 / 0
19.04.2016, 12:06
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39218977
Фотография Alexey Zhidkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Zhidkov
Участник
AlionaА нельзя ли как-нибудь извратиться, чтобы дамп сливать на ленту? мне кажется, нельзя,может, кто-нибудь такой фокус проделывал.
Если сетевые диски подключить с других серверов, насколько это надёжно для датапампа?
можно через пайпу сразу лить на другой сервер. Правда это обычным экспортом делали, с expdp не проверял...
...
Рейтинг: 0 / 0
19.04.2016, 12:24
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39218990
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
С expdp не пролезет ни через pipe, ни на ленту
Но подключить чужие диски по NFS вполне нормально
...
Рейтинг: 0 / 0
19.04.2016, 12:33
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219367
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Если трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.
...
Рейтинг: 0 / 0
19.04.2016, 16:26
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219371
Фотография Alexey Zhidkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Zhidkov
Участник
trace.logЕсли трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.
Для таких объемов - это жестоко :)
...
Рейтинг: 0 / 0
19.04.2016, 16:28
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219414
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Alexey Zhidkov,

это понятно, но можно было и попробовать, тем более это не горящая бд и время есть с запасом.
...
Рейтинг: 0 / 0
19.04.2016, 16:57
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219482
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logЕсли трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.
В обычном экспорте нет параллельности.
Это будет не очень долго, а очень-очень-очень долго.
...
Рейтинг: 0 / 0
19.04.2016, 17:52
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219511
Фотография SY
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SY
Участник
Alionaперед заливкой дампа надо архивлог отключить, потом включить.


Нe на базе в рабочем режиме. И не забывая сделать full backup после зaливки дампа.

SY.
...
Рейтинг: 0 / 0
19.04.2016, 18:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219600
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Aliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
...
Рейтинг: 0 / 0
19.04.2016, 21:14
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219624
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
Aliona,
В общем мысль пришла такая
делаешь экспорт dumpfile=expdata_%U.dmp filesize=4G logfile=expdata.log ...и тд...
в общем запускаешь и потихоньку по мере того как один за другим создаются файлы убираешь в другое место...или удаляешь...
в результате у тебя будет лог в котором будет время выполнения и тд....

profit...
challenge complete....
...
Рейтинг: 0 / 0
19.04.2016, 22:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219627
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
Тролин, добавлю дамп с _01 не удалять он пишет туда пока создает другие 02 03 и тд.
...
Рейтинг: 0 / 0
19.04.2016, 22:32
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219635
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
и последнее job datapump можно ставить на паузу....например в течении рабочего дня следишь удаляешь...( валерьянки или успокаивающим запастись надо), потом рабочий день закончился поставила на паузу....с утра пришла на работу resume_job и в бой...
...
Рейтинг: 0 / 0
19.04.2016, 22:44
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219671
Фотография Alexey Zhidkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Zhidkov
Участник
trace.logAliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
может тогда стоит уточнить, а десятки ли в БД схем?
...
Рейтинг: 0 / 0
19.04.2016, 23:47
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219758
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Alexey Zhidkovtrace.logAliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
может тогда стоит уточнить, а десятки ли в БД схем?

Согласен :) Может у них БД с одной схемой на 10 табличек...Вообщем вариантов приведено много, нужно только выбрать правильный иии запастись временм и доп.ресурсами.
...
Рейтинг: 0 / 0
20.04.2016, 08:23
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219771
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
trace.log, На сколько страшна у меня табличка с 16ГБ? (вложение)
...
Рейтинг: 0 / 0
20.04.2016, 08:39
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219802
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Тролинtrace.log, На сколько страшна у меня табличка с 16ГБ? (вложение)

Я говорил о том, что выполнение распараллеливания не всегда панацея и поэтому если есть 1 таблица, которая весит, допустим все 8Тб из 10ТБ, то запускай хоть 10 потоков, они ничем не помогут для данной таблицы.
...
Рейтинг: 0 / 0
20.04.2016, 09:14
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219841
тупень_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
тупень_
Гость
trace.log если есть 1 таблица, которая весит, допустим все 8Тб из 10ТБ, то запускай хоть 10 потоков, они ничем не помогут для данной таблицы.
query=' where '
...
Рейтинг: 0 / 0
20.04.2016, 09:52
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219851
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
SYAlionaперед заливкой дампа надо архивлог отключить, потом включить.


Нe на базе в рабочем режиме. И не забывая сделать full backup после зaливки дампа.

SY.
А чё можно заливать в пустую БД full-дамп и при этом чтобы пользовательское приложение работало?
Или заливать дамп схемы и чтобы пользователи со схемой работали ?
:)
...
Рейтинг: 0 / 0
20.04.2016, 10:00
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219858
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logAliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
схем штук 20, сейчас вычислю самую большую и попробую её выгрузить старым экспортом.
...
Рейтинг: 0 / 0
20.04.2016, 10:06
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219866
тупень_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
тупень_
Гость
а еще можно в pipe на юниксе выгружать и сразу же загружать из него.

прям завидую - Алене всегда такие творческие задачи попадаются :)
...
Рейтинг: 0 / 0
20.04.2016, 10:12
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219927
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
тупень_а еще можно в pipe на юниксе выгружать и сразу же загружать из него.

Загружать из него вряд ли получиться, поскольку грузить надо на тот же сервер, на тоже самое место.
Нету ни свободных серверов, ни свободного места.

тупень_прям завидую - Алене всегда такие творческие задачи попадаются :)
Завидовать нечему, 9 месяцев только протоколы читаю и мониторю, а эту задачу пока только "оцениваю", до исполнения время дойдёт не ранее чем через 6 месяцев
...
Рейтинг: 0 / 0
20.04.2016, 10:52
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220225
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
тупень_а еще можно в pipe на юниксе выгружать и сразу же загружать из него.


Такого никогда не пробовала, если не шутите, попробовать захотелось.

Есть место на тестовой exadat'e, предложила попробовать выгружать в pipe и одновременно грузить из pipe на exadat'у.
Сказали, что нельзя оттуда диски подключить. :(
...
Рейтинг: 0 / 0
20.04.2016, 14:35
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220250
legacy exp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
legacy exp
Гость
Aliona,

pipe (fifo) можно другим процессом scpить на другой сервер. а можно делать экспорт непосредственно в сеть, если это bash. на другом конце должно висеть перенаправление из сети в файл.
место на экзадате, это ведь про диски, а не про место внутри бд?
...
Рейтинг: 0 / 0
20.04.2016, 14:53
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220355
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Отменяется, сервера находятся в разных сетях, связывать их никак нельзя.

Обещали через неделю подключить диск размером 6 Тб.
Ура, буду делать expdp!
...
Рейтинг: 0 / 0
20.04.2016, 15:55
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220481
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logЕсли трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.

запустила старый экспорт одной схемы (размером 3,3 Гб), pipe, compress

за 6 часов, выгрузилось 17 таблиц из 172. :(
заняло это 20 Гб диска.

Пожалуй, грохну процесс, поскольку диск обещали подключить,
ну его, этот старый экспорт.
...
Рейтинг: 0 / 0
20.04.2016, 17:11
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220597
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Aliona,

Если есть время, то я бы оставил экспорт, пусть себе работает, медленно но уверенно.
...
Рейтинг: 0 / 0
20.04.2016, 19:49
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220851
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
время есть, дисков нет.побоялась, что ночью ФС переполниться.
Когда диск подключат, тогда запущу ещё раз.
...
Рейтинг: 0 / 0
21.04.2016, 09:32
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39221180
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Ещё вопрос.
Подключаем для дампа один диск, т.е. одну файловую систему.

expdp full=Y лучше с parallel или без, чтобы ускорить?

Если с parallel, то сколько паралелить 2, 4, 6 ?

На сервере CPU state: 96% idle.
...
Рейтинг: 0 / 0
21.04.2016, 13:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39221185
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
Я бы скакал от min(количество_процессоров*2, количество сегментов (не индексов) размером > 10G)
...
Рейтинг: 0 / 0
21.04.2016, 13:36
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224442
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Диск подключили.
Выполнила expdp.

Хотя ESTIMATE_ONLY=Y выдавало:
Total estimation using BLOCKS method: 5800 MB - почти 6 Тб,

c compression=all дамп получился 1,5 Тб.

По нескольким таблицам были ошибки:
ORA-01555: snapshot too old

Когда буду делать дамп на чистовую, пользователей всех отключим, ошибок не должно быть.


expdp выполнялся 12 часов, impdp в пустую базу тоже будет выполняться 12 часов или дольше ?

Если так то, с методом TTS даже не буду заморачиваться.
...
Рейтинг: 0 / 0
26.04.2016, 10:02
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224460
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
AlionaДиск подключили.
Выполнила expdp.

Хотя ESTIMATE_ONLY=Y выдавало:
Total estimation using BLOCKS method: 5800 MB - почти 6 Тб,

c compression=all дамп получился 1,5 Тб.

По нескольким таблицам были ошибки:
ORA-01555: snapshot too old

Когда буду делать дамп на чистовую, пользователей всех отключим, ошибок не должно быть.


expdp выполнялся 12 часов, impdp в пустую базу тоже будет выполняться 12 часов или дольше ?

Если так то, с методом TTS даже не буду заморачиваться.

хороший результат для экспорта.

Импорт по опыту всегда проходит дольше.
...
Рейтинг: 0 / 0
26.04.2016, 10:26
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224532
Victor Metelitsa
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Victor Metelitsa
Участник
Очень быстро идёт заливка данных. А вот затем происходит создание индексов и проверка констрейнтов, это надолго, во много раз дольше заливки данных (на Oracle SE, то бишь без распараллеливания).
...
Рейтинг: 0 / 0
26.04.2016, 11:19
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224541
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.log
Импорт по опыту всегда проходит дольше.

У меня опыта с такими объёмами не было.

На сколько дольше, в 2 раза?
...
Рейтинг: 0 / 0
26.04.2016, 11:25
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224567
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
это зависит от количества и размеров индексов
...
Рейтинг: 0 / 0
26.04.2016, 11:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224575
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Ещё вопрос.


c compression=all дамп получился 1,5 Тб., выполнялся 12 часов.

если без compression, то expdp пройдёт быстрее?
Завтра это попробую.
...
Рейтинг: 0 / 0
26.04.2016, 11:46
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224742
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Q.Tarantino
Участник
Alionaесли без compression, то expdp пройдёт быстрее?
Завтра это попробую.
сколько parallel выставляла?
если дисковая подсистема шутрая и количество CPU позволяет - то можно поиграть с количеством потоков.
...
Рейтинг: 0 / 0
26.04.2016, 13:38
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224760
xxxkms
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
xxxkms
Гость
Alionatrace.logИмпорт по опыту всегда проходит дольше.

У меня опыта с такими объёмами не было.

На сколько дольше, в 2 раза?
Так же рекjмендую целевую базу перед заливкой перевести в noarchivelog, ну и отключить force logging если не дай бог включен.
...
Рейтинг: 0 / 0
26.04.2016, 14:01
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224773
database corrupted
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
database corrupted
Гость
xxxkmsотключить force logging если не дай бог включен. ню-ню...
...
Рейтинг: 0 / 0
26.04.2016, 14:08
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224781
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
xxxkmsAlionaпропущено...


У меня опыта с такими объёмами не было.

На сколько дольше, в 2 раза?
Так же рекjмендую целевую базу перед заливкой перевести в noarchivelog, ну и отключить force logging если не дай бог включен.

TC в курсе 19054463
...
Рейтинг: 0 / 0
26.04.2016, 14:14
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224832
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Q.TarantinoAlionaесли без compression, то expdp пройдёт быстрее?
Завтра это попробую.
сколько parallel выставляла?
если дисковая подсистема шутрая и количество CPU позволяет - то можно поиграть с количеством потоков.

про количество parallel я уже спрашивала и Вячеслав Любомудров уже подсказал.

У меня 24 процессора, 34 таблицы > 10G.
Вчера поставила parallel=24, expdp выполнился за 12 часов.

Сегодня поставила parallel=48 - это явно многовато,
expdp работает явно быстрее, предполагаю, что проскочит за 8 часов, но в alert.log много сообщений WARNING: aiowait timed out 2 times

Вчера такие сообщения проскакивали, но редко.

Завтра попробую parallel=34 compression=NONE

Вопрос-то был такой:
ускорит ли compression=NONE процесс или нет, стоит ли пробовать?
...
Рейтинг: 0 / 0
26.04.2016, 14:46
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224888
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Aliona,

Посмотрите здесь
...
Рейтинг: 0 / 0
26.04.2016, 15:18
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224894
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
AlionaВопрос-то был такой:
ускорит ли compression=NONE процесс или нет, стоит ли пробовать?
небольшой сравнительный тест expdp 10g и expdp 11g с появившейся фичей compress=all.
Не думаю, что nocompress по времени отличается у обоих версий, в вот compress=all, судя по тесту, время экономит
https://arjunraja.com/2010/01/21/export-expdp-with-compression-of-dumps-in-11g/
...
Рейтинг: 0 / 0
26.04.2016, 15:22
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225051
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
Aliona,
на snaphot to old обрати внимание...данные по этим таблицам не экспортировались полностью... возможно UNDO_RETENTION нужно увеличить
...
Рейтинг: 0 / 0
26.04.2016, 18:43
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225079
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
Тролинна snaphot to old обрати внимание...
Судя по постановке задачи, пользователи во время экспорта будут курить бумбук... и жевать попкорн, ожидая окончания импорта...
AlionaНовоя БД будет на старом месте ... на тот же сервер, на тоже самое место.
Нету ни свободных серверов, ни свободного места.
...
Рейтинг: 0 / 0
26.04.2016, 19:18
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225269
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Q.Tarantino
Участник
AlionaВопрос-то был такой:
ускорит ли compression=NONE процесс или нет, стоит ли пробовать?
Это зависит от дисковой подсистемы.
Поставишь NONE - нагрузку на CPU снизишь, но все может упереться в диски.
Тут все индивидуально.
...
Рейтинг: 0 / 0
27.04.2016, 09:34
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225582
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Тролин,

Господа вы не внимательно читали, я уже об этом и писала, что retention увеличить нельзя, UNDO увеличивать нельзя.
Поэтому будем останавливать ПО пользователей.

Именно поэтому БД 2 года и работает с corrupt-блоками в UNDO.

А сейчас я пока экспериментальные замеры времени провожу.
Сегодня отключим Golden Gate, который грузит самые большие таблицы и повторим.
Надо добиться протокола без ошибок.
...
Рейтинг: 0 / 0
27.04.2016, 13:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225634
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
AlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п.
...
Рейтинг: 0 / 0
27.04.2016, 14:11
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225789
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Вячеслав ЛюбомудровAlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п.

У меня такого подозрения нет вот почему.

1.Первый раз выполняла expdp parallel=4, получила ORA-0155 по трём таблицам, дамп выполнялся 36 часов.
Golden Gate не отключали.
Как только получила ошибку по самой большой таблице в 300Гб, сразу запустила её выгрузку отдельно, она приспокойненько выгрузилась, а в это время expdp ещё долго работал.

2. Второй раз выполняла expdp parallel=24, получила ORA-0155 по 7 таблицам,
дамп выполнялся 12 часов.
Golden Gate не отключали.

3.Вчера третий раз выполняла expdp parallel=48 (это уже многовато, сильно I/O нагрузила)
Golden Gate отключили. за рабочий день, почти все таблицы успели выгрузиться, чуть-чуть осталось, несколько таблиц из прошлых (ORA-0155 по 7 таблицам) выгрузились без ошибок, но пришлось остановить. :(

4. Останавливаем Golden Gate вечером, и опять запускаю expdp parallel=24.
Есть большая надежда на то, что пройдёт без ошибок.
...
Рейтинг: 0 / 0
27.04.2016, 15:32
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39225806
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Вот ещё идея пришла.
Мне сейчас для дампа временно подключили диск 6 Тб.

Если выпросить диск чуть больше 10 Тб (размер БД 10Т) ,диск 6 Тб уже будет не нужен.
Создать на этом-же сервере вторую БД и запустить
impdp NETWORK_LINK=база_источник

Golden Gate по любому надо будет остановить, другие пользователи смогут работать.
...
Рейтинг: 0 / 0
27.04.2016, 15:44
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39226100
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
Aliona,

NETWORK_LINK прежде чем по линку запускать ипорт ты посмотрела блобы в базе есть?
...
Рейтинг: 0 / 0
27.04.2016, 19:26
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39226381
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Вячеслав ЛюбомудровAlionaИменно поэтому БД 2 года и работает с corrupt-блоками в UNDO.Есть подозрение, что именно из-за этого ты и получишь 1555 независимо от UNDO_RETENTION и т.п.

Сегодня expdp прошёл без ошибок, УРА !
...
Рейтинг: 0 / 0
28.04.2016, 10:21
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39226384
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
ТролинAliona,

NETWORK_LINK прежде чем по линку запускать ипорт ты посмотрела блобы в базе есть?
Не смотрела. сейчас гляну.

Вчера бегло просматривала документацию, таких ограничений не заметила
...
Рейтинг: 0 / 0
28.04.2016, 10:23
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39227521
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
Alionaускорит ли compression=NONE процесс или нет, стоит ли пробовать?
зависит от

c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается
без компрессии соответственно наоборот

как правило, по процессору запас мощности больше (если диск не SSD, по крайней мере). Тем более, алгоритм сжатия не очень изощренный, не много добавляет.
...
Рейтинг: 0 / 0
29.04.2016, 14:43
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39227615
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111Alionaускорит ли compression=NONE процесс или нет, стоит ли пробовать?
зависит от

c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается
без компрессии соответственно наоборот

.
Выгружада с компресией parallel=24.
CPU idele 72%
a I/O уже напрягался, в alert.log появлялись предупреждения
WARNING: aiowaite timed out 1 times
...
Рейтинг: 0 / 0
29.04.2016, 15:57
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39227838
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
AlionaNobody1111пропущено...

зависит от

c компрессией требуется больше работы процессора и меньше диска, на который дамп выгружается
без компрессии соответственно наоборот

.
Выгружада с компресией parallel=24.
CPU idele 72%
a I/O уже напрягался, в alert.log появлялись предупреждения
WARNING: aiowaite timed out 1 times

CPU idle может меняться с течением времени. Обычно одни нитки expdp заканчиваются раньше других.

А на какой платформе aiowait timed out ? Неужто Solaris?
...
Рейтинг: 0 / 0
29.04.2016, 22:08
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39228564
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
Nobody1111А на какой платформе aiowait timed out ? Неужто Solaris?
Aliona 19076214
Solaris SPARC...
...
Рейтинг: 0 / 0
03.05.2016, 10:52
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39228828
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
Viewer, спасибо. Такая ошибка, весьма вероятно, из-за того, что ОС недопатчена или недоконфигурирована.
...
Рейтинг: 0 / 0
04.05.2016, 09:17
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243118
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Ещё вопросик.

Делала дамп всей базы 13 часов
expdp parallel=24

Загружаю дам в новую БД
impdp parallel=24

Данные загрузились примерно за 13 часов,
уже 2 суток строятся индексы.

парамерт parallel доступен в интерактивном режиме.

Ускорит ли процесс увеличение parallel ?
...
Рейтинг: 0 / 0
25.05.2016, 12:34
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243191
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
https://asktom.oracle.com/pls/apex/f?p=100:11:::YES:RP:P11_QUESTION_ID:1412203938893 We'll work better where you have more processes then CPUs. Especially with indexing.
indexing is IO intensive. We'll have lots of times where we are waiting on IO and not
using the CPU. Having more processes then CPUs will help utilize them fully. This
assumes of course you are doing this off hours.
?
...
Рейтинг: 0 / 0
25.05.2016, 13:31
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243274
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
AlionaЕщё вопросик.

Делала дамп всей базы 13 часов
expdp parallel=24

Загружаю дам в новую БД
impdp parallel=24

Данные загрузились примерно за 13 часов,
уже 2 суток строятся индексы.

парамерт parallel доступен в интерактивном режиме.

Ускорит ли процесс увеличение parallel ?

а что лонгопс говорит?
...
Рейтинг: 0 / 0
25.05.2016, 15:00
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243348
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.log
а что лонгопс говорит?
лонгопс говорит:
1611658 out of 1611666 MB done

Но это он говорит сегодня утром и сейчас в 16:30,
а за это время уже создалось 300 индексов.
...
Рейтинг: 0 / 0
25.05.2016, 16:31
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243352
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Ситуация такая.
В серверу с работающей промышленной базой подключили новые диски.

На них выгрузила дамп.
Создала новую БД, в неё гружу дамп, это пока в тестовом режиме.

sar -г и top говорят, что CPU на 86-90% свободен.

Когда БД буду пересоздавать на чистовую, старую БД остановлю,
в новой БД значительно увеличу init-параметры памяти.
И вот ещё придумала увеличить parallel.

Пока ещё не решила поможет ли увеличение parallel.
Ask Tom ещё не читала.
...
Рейтинг: 0 / 0
25.05.2016, 16:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243441
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Alionatrace.logа что лонгопс говорит?
лонгопс говорит:
1611658 out of 1611666 MB done

Но это он говорит сегодня утром и сейчас в 16:30,
а за это время уже создалось 300 индексов.

Неужели не отображает время??! Странно.
...
Рейтинг: 0 / 0
25.05.2016, 18:37
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243680
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logAlionaпропущено...

лонгопс говорит:
1611658 out of 1611666 MB done

Но это он говорит сегодня утром и сейчас в 16:30,
а за это время уже создалось 300 индексов.

Неужели не отображает время??! Странно.
time_remaining ?
показывает

для сесии импорта говорит:
SYS_IMPORT_FULL_01
1611658 out of 1611666 MB done
time_remaining=1

Других сессий показывает время в секундах.

Вчера в конце рабочего дня увеличила parallel=24 --> parallel=30
Сегодня утром увидела что количество сессий строящих индексы
увеличилось с 24 до 26 , но не до 30, хотя надо ещё построить 200 индексов.

Увеличение parallel уменьшает time_remaining для каждого индекса ?
...
Рейтинг: 0 / 0
26.05.2016, 09:46
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243688
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Alionatrace.logпропущено...


Неужели не отображает время??! Странно.
time_remaining ?
показывает

для сесии импорта говорит:
SYS_IMPORT_FULL_01
1611658 out of 1611666 MB done
time_remaining=1

Других сессий показывает время в секундах.

Вчера в конце рабочего дня увеличила parallel=24 --> parallel=30
Сегодня утром увидела что количество сессий строящих индексы
увеличилось с 24 до 26 , но не до 30, хотя надо ещё построить 200 индексов.

Увеличение parallel уменьшает time_remaining для каждого индекса ?

Параллель должна увеличивать кол-во процессов, соответьсвенно должно уменьшится общее время выполнения, возможно что при построении индексов time_remaining не меняется вообще.
...
Рейтинг: 0 / 0
26.05.2016, 09:54
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243712
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.log
Параллель должна увеличивать кол-во процессов, соответьсвенно должно уменьшится общее время выполнения, возможно что при построении индексов time_remaining не меняется вообще.
Количество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30

time_remaining изменяется, я мониторю.
Раз все-таки количество процессов увеличилось, значит, дело пошло быстрее.

Протокол мне выложить проблематично, интернет на другой компе. :(
...
Рейтинг: 0 / 0
26.05.2016, 10:09
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39243946
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
помониторить, сессии индексовые temp используют? Если активно, то увеличивать PGA, или в этих сессиях workarea_size_policy=manual и выкручивать sort_area_size.

или не доверять создание индексов impdp ( EXCLUDE=INDEXES), и создавать их скриптом, с PARALLEL для толстых индексов.
...
Рейтинг: 0 / 0
26.05.2016, 12:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244144
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111или не доверять создание индексов impdp ( EXCLUDE=INDEXES), и создавать их скриптом, с PARALLEL для толстых индексов.

Ха, создавать скриптом 1,5 тыр. индексов!
"На это я пойтить не могу."
...
Рейтинг: 0 / 0
26.05.2016, 15:20
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244170
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Памяти у меня пока для тестовой Бд совсем мало,
sga= 50 G,
поскольку роботает ещё и пром. база.

На сервере 512 G оперативной памяти.
Пром. база sga=250 G
тестовая база sga=50 G.

Когда загрузку дампа буду проводить на чистовыю.
Остановлю старую прои. базу.
Новой БД собиралась выделить sga=250 G.
А теперь думаю, что надо намного больше, хотябы на время загрузки дампа, для построения индексов.

Мониторю.
Табличка небольшая, всего 200 G, индексы уже строятся несколько часов.
Смотрю на пром базе:
у этой таблицы 15 индексов, из них 14 шт. с функциями.

Вопросик.
Чтобы построить 15 индексов, таблица сканируется 15 раз ?
...
Рейтинг: 0 / 0
26.05.2016, 15:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244175
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111Viewer, спасибо. Такая ошибка, весьма вероятно, из-за того, что ОС недопатчена или недоконфигурирована.

Киньте, плииз, ссылочку, что надо докунфигурить в ОС.
Похоже, на сервере давно проблемы с Input/Output.
...
Рейтинг: 0 / 0
26.05.2016, 15:43
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244495
KoTTT
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KoTTT
Участник
AlionaНовой БД собиралась выделить sga=250 G.
А теперь думаю, что надо намного больше, хотябы на время загрузки дампа, для построения индексов.
Может все же лучше PGA увеличить на время создания индексов?
AlionaВопросик.
Чтобы построить 15 индексов, таблица сканируется 15 раз ?
Ну да, а как иначе?
...
Рейтинг: 0 / 0
27.05.2016, 08:19
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244543
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
KoTTTНу да, а как иначе?Можно было бы разделить обязанности (конвейер) - чтец поставляет данные сразу нескольким сортировщикам. Затраты IO - одно последовательное чтение. Больше одновременно занятой памяти, будут частично простаивать более узкие, многонуллные индексы . Но общее время будет соответствовать самому тяжелому.
...
Рейтинг: 0 / 0
27.05.2016, 09:21
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244595
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
[quot KoTTT]AlionaМожет все же лучше PGA увеличить на время создания индексов?

И PGA буду увеличивать. 200G
...
Рейтинг: 0 / 0
27.05.2016, 10:13
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244599
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
-2-KoTTTНу да, а как иначе?Можно было бы разделить обязанности (конвейер) - чтец поставляет данные сразу нескольким сортировщикам. Затраты IO - одно последовательное чтение. Больше одновременно занятой памяти, будут частично простаивать более узкие, многонуллные индексы . Но общее время будет соответствовать самому тяжелому.
А как это сделать?
...
Рейтинг: 0 / 0
27.05.2016, 10:16
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244688
Oleg M.Ivanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oleg M.Ivanov
Гость
Aliona,

Так в чем задача стоит? Чисто перенести базу на новые уже подключенные диски или еще одновременно "почистить" свободное место в файлах базы через expdp/impdp? Я так понял, что все остается прежним, кроме дискового пространства. Если просто перенести, то не проще ли чисто скопировать файлы?
...
Рейтинг: 0 / 0
27.05.2016, 11:23
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244693
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Oleg M.IvanovAliona,

Так в чем задача стоит? Чисто перенести базу на новые уже подключенные диски или еще одновременно "почистить" свободное место в файлах базы через expdp/impdp? Я так понял, что все остается прежним, кроме дискового пространства. Если просто перенести, то не проще ли чисто скопировать файлы?

вы просто не в теме )) там битый UNDO, поэтому такая свистопляска
...
Рейтинг: 0 / 0
27.05.2016, 11:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244771
Oleg M.Ivanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oleg M.Ivanov
Гость
trace.logвы просто не в теме )) там битый UNDO, поэтому такая свистопляска
Глянул всю тему, теперь в теме. :))
Кто же мешает создать новое UNDO, а затем сказать системе alter system set undo_tablespace="новое UNDO" , подождать пока старое полностью освободится(бывает не очень быстро) и затем его грохнуть? Если это чисто ради этого затевается, то вааще не понятно зачем такой гемор с экспортом/импортом?
...
Рейтинг: 0 / 0
27.05.2016, 12:28
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244825
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Oleg M.Ivanovtrace.logвы просто не в теме )) там битый UNDO, поэтому такая свистопляска
Глянул всю тему, теперь в теме. :))
Кто же мешает создать новое UNDO, а затем сказать системе alter system set undo_tablespace="новое UNDO" , подождать пока старое полностью освободится(бывает не очень быстро) и затем его грохнуть? Если это чисто ради этого затевается, то вааще не понятно зачем такой гемор с экспортом/импортом?
В темы въехали не до конца :)
...
Рейтинг: 0 / 0
27.05.2016, 13:03
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244829
imabeliever
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
imabeliever
Гость
AlionaКоличество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30


Был такой вот баг, точнее enhancement:
Bug 5629423 : DATAPUMP DOES NOT CREATE THE INDEXES IN PARALLEL
Why Isn't Datapump Creating Multiple Indexes in Parallel? (Doc ID 402511.1)

Я столкнулся с этим не так давно на 12.1.0.2. Судя по сообщению, у вас индексы создаются в параллель, поэтому интересно, что у вас за версия?
...
Рейтинг: 0 / 0
27.05.2016, 13:07
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244912
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
AlionaOleg M.Ivanovпропущено...

Глянул всю тему, теперь в теме. :))
Кто же мешает создать новое UNDO, а затем сказать системе alter system set undo_tablespace="новое UNDO" , подождать пока старое полностью освободится(бывает не очень быстро) и затем его грохнуть? Если это чисто ради этого затевается, то вааще не понятно зачем такой гемор с экспортом/импортом?
В темы въехали не до конца :)
2 Oleg M.Ivanov
FYI
19082389
...
Рейтинг: 0 / 0
27.05.2016, 14:25
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39244945
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
AlionaNobody1111или не доверять создание индексов impdp ( EXCLUDE=INDEXES), и создавать их скриптом, с PARALLEL для толстых индексов.

Ха, создавать скриптом 1,5 тыр. индексов!
"На это я пойтить не могу."
Только хардкор, только скриптом ручной работы на 35000 одних курьеров индексов!

AlionaNobody1111Viewer, спасибо. Такая ошибка, весьма вероятно, из-за того, что ОС недопатчена или недоконфигурирована.

Киньте, плииз, ссылочку, что надо докунфигурить в ОС.
Похоже, на сервере давно проблемы с Input/Output.
Да в одном месте такого кунфугурения не видел, всё как-то обрывками. Ну хотя бы max_phys в /etc/system стоит?
...
Рейтинг: 0 / 0
27.05.2016, 14:49
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39245042
Oleg M.Ivanov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Oleg M.Ivanov
Гость
Viewer2 Oleg M.Ivanov
FYI
19082389
А, ну теперь понятно, давненько сюда не заходил и другие ветки не читал. Просто активных транзакций за такой долгий период уже ни как не должно было остаться и там правильные советы давали с отключением битого сегмента. Обычно, таким образом поднимаются базы с битым UNDO, у него все-равно этот сегмент битый и его уже, я так понимаю, не починить из-за отсутствия бекапов.

Я бы в данной ситуации слил expdp целиком всю базу(это чисто для подстраховки), т.е. с параметром full=y , и дальше переключил на новое UNDO, а от старого избавился. И из этого топика, я так понял, Алена пытается оценить время как раз если вдруг что-то не срастется и придется импортировать базу. Ну тогда все логично, типа сказать начальству, что "в случае чего, функционирование базы будет восстанавливаться столько-то". В этом случае, мой совет, т.к. тут не увидел подобного, когда делать экспорт, то очень желательно и, я бы сказал, обязательно, отключить всех пользователей от базы, остановить все job'ы, т.е. база не должна вообще проявлять ни какой активности. Так же, параметр undo_retention выставить заведомо большим, чем займет по времени вся процедура. "Плавали, знаем". Иначе, можно поиметь несоответствие данных, особенно foreign key, если таковые имеются и недосчитаться некоторых данных, которые появятся в базе после прохождением экспорта конкретной таблицы, а в нее после этого еще чего-то наработалось. Параметр consistent=y ни разу не помог, сколько не пытались. Возможно, он на маленьких базах помогает, но нам ни разу не помог, поэтому проще базу экспортировать в DATA PUMP в остановленном виде. Простой exp работает правильно, но он ужасно неприемлемо медленный по сравнению с DATA PUMP.
...
Рейтинг: 0 / 0
27.05.2016, 15:54
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39245077
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
Oleg M.Ivanov... переключил на новое UNDO ...Так же, параметр undo_retention ...
:)
AlionaВ темы въехали не до конца :)
2 Oleg M.Ivanov
19112607
...
Рейтинг: 0 / 0
27.05.2016, 16:08
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246242
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111
Похоже, на сервере давно проблемы с Input/Output.

Да в одном месте такого кунфугурения не видел, всё как-то обрывками. Ну хотя бы max_phys в /etc/system стоит?

Проверила
cat /etc/system |grep max_phys

нет такого :(
Не стоит.
...
Рейтинг: 0 / 0
30.05.2016, 14:53
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246247
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Oleg M.Ivanov,

Битый UNDO никогда не освободиться, никогда не удалиться, и из-за него нельзя использовать метод TTS для пересоздания БД, потому что не все пользовательские TS переводятсся в READ ONLY.

Кроме того БД с битым UNDO не открывается. :(

Это всё в теме было описано.
...
Рейтинг: 0 / 0
30.05.2016, 14:57
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246255
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
AlionaNobody1111Похоже, на сервере давно проблемы с Input/Output.

Да в одном месте такого кунфугурения не видел, всё как-то обрывками. Ну хотя бы max_phys в /etc/system стоит?

Проверила
cat /etc/system |grep max_phys

нет такого :(
Не стоит.

cat /etc/system |grep maxphys
тоже нет
...
Рейтинг: 0 / 0
30.05.2016, 15:03
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246271
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Oleg M.IvanovViewer2 Oleg M.Ivanov
FYI
19082389

И из этого топика, я так понял, Алена пытается оценить время ...
Алёна уже давно все сделала. :)

В Ваш неформатированный текст читать очень сложно.
...
Рейтинг: 0 / 0
30.05.2016, 15:14
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246297
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Nobody1111 Ну хотя бы max_phys в /etc/system стоит?

Вот нашла:
Tune Solaris System and Driver Parameters for Anticipated File System I/O

https://docs.oracle.com/cd/E51305_01/en/E42062/html/confighostos.htm
...
Рейтинг: 0 / 0
30.05.2016, 15:38
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246863
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
imabelieverAlionaКоличество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30


Был такой вот баг, точнее enhancement:
Bug 5629423 : DATAPUMP DOES NOT CREATE THE INDEXES IN PARALLEL
Why Isn't Datapump Creating Multiple Indexes in Parallel? (Doc ID 402511.1)

Я столкнулся с этим не так давно на 12.1.0.2. Судя по сообщению, у вас индексы создаются в параллель, поэтому интересно, что у вас за версия?

Oracle 11.2.0.4,
но тоже есть непонятное:

Во время чистовой заливки базы увеличила sga и pga намного, в 5 раз.
Заливка таблиц ускорилась незначительно с 13 часов до 10 часов,
а индексы создаются с такой же скоростью.
...
Рейтинг: 0 / 0
31.05.2016, 11:02
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246899
Фотография Fogel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Fogel
Участник
DataPump при работе создаёт кучу джобов, которые при большом кол-ве параллелизма могут упереться в ограничения параметра
job_queue_processes
Этот параметр проверьте и при необходимости увеличьте.
...
Рейтинг: 0 / 0
31.05.2016, 11:22
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246910
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
imabelieverAlionaКоличество процессов, строоящих один индекс, увеличилось, но не до 30,
как я задала раrallel=30


Был такой вот баг, точнее enhancement:
Bug 5629423 : DATAPUMP DOES NOT CREATE THE INDEXES IN PARALLEL
Why Isn't Datapump Creating Multiple Indexes in Parallel? (Doc ID 402511.1)

Я столкнулся с этим не так давно на 12.1.0.2. Судя по сообщению, у вас индексы создаются в параллель, поэтому интересно, что у вас за версия?
В ноте сказано, что патч надо ставить и для 12.1.0.2, и для 11.2.0.4
У меня патч не стоит, проверила.

Вот как я мониторю:
автор SELECT username,opname,target_desc,sofar,totalwork,message, TIME_REMAINING,SID FROM v$session_longops where TIME_REMAINING>0;

USERNAME OPNAME TARGET_DESC SOFAR TOTALWORK MESSAGE TIME_REMAINING SID
------------ -------------------- ----------- ---------- ---------- -------------------------------------------------------------------------------- -------------- ----------
TT Rowid Range Scan 14693 100761 Rowid Range Scan: TT.IM: 14693 out of 100761 Blocks done 111 2901
TT Rowid Range Scan 7119 158105 Rowid Range Scan: TT.IM: 7119 out of 158105 Blocks done 403 3
TT Rowid Range Scan 8196 133529 Rowid Range Scan: TT.IM: 8196 out of 133529 Blocks done 291 256
TT Rowid Range Scan 7016 141721 Rowid Range Scan: TT.IM: 7016 out of 141721 Blocks done 365 1265
TT Rowid Range Scan 8629 133529 Rowid Range Scan: TT.IM: 8629 out of 133529 Blocks done 275 950
TT Rowid Range Scan 7780 199073 Rowid Range Scan: TT.IM: 7780 out of 199073 Blocks done 467 697
TT Rowid Range Scan 8510 133529 Rowid Range Scan: TT.IM: 8510 out of 133529 Blocks done 279 2775
TT Rowid Range Scan 7124 158105 Rowid Range Scan: TT.IM: 7124 out of 158105 Blocks done 403 2838
TT Rowid Range Scan 7648 223641 Rowid Range Scan: TT.IM: 7648 out of 223641 Blocks done 508 2144
TT Rowid Range Scan 7722 166297 Rowid Range Scan: TT.IM: 7722 out of 166297 Blocks done 390 1010
TT Rowid Range Scan 7739 149913 Rowid Range Scan: TT.IM: 7739 out of 149913 Blocks done 349 2964
TT Rowid Range Scan 7324 158105 Rowid Range Scan: TT.IM: 7324 out of 158105 Blocks done 371 1454
TT Rowid Range Scan 3007 199073 Rowid Range Scan: TT.IM: 3007 out of 199073 Blocks done 522 446
SYSTEM SYS_IMPORT_FULL_01 IMPORT 1593698 1593705 SYS_IMPORT_FULL_01: IMPORT : 1593698 out of 1593705 MB done 1 2269
TT Rowid Range Scan 7542 199073 Rowid Range Scan: TT.IM: 7542 out of 199073 Blocks done 483 1391
TT Rowid Range Scan 9063 100761 Rowid Range Scan: TT.IM: 9063 out of 100761 Blocks done 192 319
TT Rowid Range Scan 7815 158105 Rowid Range Scan: TT.IM: 7815 out of 158105 Blocks done 365 1199
TT Rowid Range Scan 8437 141721 Rowid Range Scan: TT.IM: 8437 out of 141721 Blocks done 300 1641
TT Rowid Range Scan 8088 174497 Rowid Range Scan: TT.IM: 8088 out of 174497 Blocks done 391 66
TT Rowid Range Scan 9630 149914 Rowid Range Scan: TT.IM: 9630 out of 149914 Blocks done 277 634
TT Rowid Range Scan 8390 133529 Rowid Range Scan: TT.IM: 8390 out of 133529 Blocks done 283 193
TT Rowid Range Scan 7432 125345 Rowid Range Scan: TT.IM: 7432 out of 125345 Blocks done 301 1073
TT Rowid Range Scan 6980 149913 Rowid Range Scan: TT.IM: 6980 out of 149913 Blocks done 369 508
TT Rowid Range Scan 8555 125337 Rowid Range Scan: TT.IM: 8555 out of 125337 Blocks done 259 1392
TT Rowid Range Scan 19231 108953 Rowid Range Scan: TT.IM: 19231 out of 108953 Blocks done 89 821
TT Rowid Range Scan 8089 149913 Rowid Range Scan: TT.IM: 8089 out of 149913 Blocks done 333 1139
TT Rowid Range Scan 7618 190873 Rowid Range Scan: TT.IM: 7618 out of 190873 Blocks done 457 884
TT Rowid Range Scan 8463 133529 Rowid Range Scan: TT.IM: 8463 out of 133529 Blocks done 281 382
TT Rowid Range Scan 7285 203169 Rowid Range Scan: TT.IM: 7285 out of 203169 Blocks done 511 571
TT Rowid Range Scan 11445 215457 Rowid Range Scan: TT.IM: 11445 out of 215457 Blocks done 339 130

30 rows selected.
...
Рейтинг: 0 / 0
31.05.2016, 11:27
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246913
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
Alionaа индексы создаются с такой же скоростью.
было предложение от Nobody1111, но по топику отклик не нашёл...
Nobody1111Помониторить, сессии индексовые temp используют? Если активно, то ... в этих сессиях workarea_size_policy=manual и выкручивать sort_area_size.
т.е. что-то вроде
alter session set workarea_size_policy=manual;
alter session set sort_area_size=1073741824;
alter session set db_file_multiblock_read_count=128;

Не знаю как в вашем случае, но у нас иногда таким образом выкручиваюся, когда TEMP увеличить нет возможности, а индексы для перестройки гроздки (ну и скорость перестроения выше. Насколько - статитики к сожалению у меня нет).
...
Рейтинг: 0 / 0
31.05.2016, 11:28
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246916
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
одна таблица сканируется 29 сессиями, а потом будет сортировка таким-же количеством сессий, или чуть меньшим.
...
Рейтинг: 0 / 0
31.05.2016, 11:30
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246921
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
P.S.
для impdp, видимо, это придётся временно делать на уровне параметров инициализации экземляра
...
Рейтинг: 0 / 0
31.05.2016, 11:33
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246924
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
ViewerAlionaа индексы создаются с такой же скоростью.
было предложение от Nobody1111, но по топику отклик не нашёл...
Nobody1111Помониторить, сессии индексовые temp используют? Если активно, то ... в этих сессиях workarea_size_policy=manual и выкручивать sort_area_size.
т.е. что-то вроде
alter session set workarea_size_policy=manual;
alter session set sort_area_size=1073741824;
alter session set db_file_multiblock_read_count=128;

Не знаю как в вашем случае, но у нас иногда таким образом выкручиваюся, когда TEMP увеличить нет возможности, а индексы для перестройки гроздки (ну и скорость перестроения выше. Насколько - статитики к сожалению у меня нет).

Да, на солярисе максимум sort_area_size, до которого можно: 2gb - 1b, уж не знаю почему.
...
Рейтинг: 0 / 0
31.05.2016, 11:35
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246926
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
FogelDataPump при работе создаёт кучу джобов, которые при большом кол-ве параллелизма могут упереться в ограничения параметра
job_queue_processes
Этот параметр проверьте и при необходимости увеличьте.
job_queue_processes=1000
...
Рейтинг: 0 / 0
31.05.2016, 11:35
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246929
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
ViewerP.S.
для impdp, видимо, это придётся временно делать на уровне параметров инициализации экземляра

Или в триггере на логон
...
Рейтинг: 0 / 0
31.05.2016, 11:38
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246945
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
У меня сейчас
авторworkarea_size_policy=AUTO;
sort_area_size=65536;
db_file_multiblock_read_count=128;
...
Рейтинг: 0 / 0
31.05.2016, 11:45
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246985
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
imho, есть смысл всё же попробовать поменять, и, как сказал Nobody, видимо лучше через триггер на логон.
...
Рейтинг: 0 / 0
31.05.2016, 12:03
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39246998
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
P.S.
видимо лучше через триггер на логон
Кстати, дочерние процессы, при параллельных операциях, все ли параметры наследуют от родительского процесса? Кто знает?
...
Рейтинг: 0 / 0
31.05.2016, 12:08
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247010
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Viewerimho, есть смысл всё же попробовать поменять, и, как сказал Nobody, видимо лучше через триггер на логон.
Тут мне не совсем понятно.

Вижу например сессия sid=2901 сканирует таблицу t1,
потом через 15 мин эта же сессия sid=2901 сканирует таблицу t2.

Новые сессии не образуются, как триггер на логон поможет ?
...
Рейтинг: 0 / 0
31.05.2016, 12:15
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247021
Фотография Viewer
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Viewer
Участник
AlionaНовые сессии не образуются, как триггер на логон поможет ?
ммм... как бы не предлагась делать это на лету во время уже запущенного процесса импорта.
...
Рейтинг: 0 / 0
31.05.2016, 12:23
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247023
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
ViewerAlionaНовые сессии не образуются, как триггер на логон поможет ?
ммм... как бы не предлагась делать это на лету во время уже запущенного процесса импорта.
Ааааа....
А у меня сейчас уже чистовая заливка базы подходит к концу, ночью закончится.
...
Рейтинг: 0 / 0
31.05.2016, 12:26
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247027
Nobody1111
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Nobody1111
Гость
ViewerP.S.
видимо лучше через триггер на логон
Кстати, дочерние процессы, при параллельных операциях, все ли параметры наследуют от родительского процесса? Кто знает?

В данной ситуации как бы по барабану: если через параметр инициализации, при порождении сессии из слейвового процесса будет использоваться общий параметр. При триггере написать триггер так, чтобы параллельным сессиям тоже выставлял.

А вообще, насколько помню, у меня не подхватывали параллельные сессии sort_area_size от QC.
...
Рейтинг: 0 / 0
31.05.2016, 12:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247040
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Q.Tarantino
Участник
AlionaА у меня сейчас уже чистовая заливка базы подходит к концу, ночью закончится.
ну и пусть работает, не трожь :)
...
Рейтинг: 0 / 0
31.05.2016, 12:37
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247114
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Q.TarantinoAlionaА у меня сейчас уже чистовая заливка базы подходит к концу, ночью закончится.
ну и пусть работает, не трожь :)
Я трогать и не собираюсь.

Народ предлагает ускорить построение индексов в impdp, надо же до конца выяснить, вдруг, когда-нибудь пригодится.
...
Рейтинг: 0 / 0
31.05.2016, 13:18
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247153
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
на поиск:impdp performance
support.oracle.com выдает кучу статей :)

надо было заранее изучить
...
Рейтинг: 0 / 0
31.05.2016, 13:41
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247154
Q.Tarantino
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Q.Tarantino
Участник
AlionaНарод предлагает ускорить построение индексов в impdp, надо же до конца выяснить, вдруг, когда-нибудь пригодится.
хочешь быстрее - строй индексы отдельно.. после загрузки данных. скриптами.
...
Рейтинг: 0 / 0
31.05.2016, 13:42
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39247178
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Q.Tarantinoхочешь быстрее - строй индексы отдельно.. после загрузки данных. скриптами.

Это уже предлагали.
"На это я пойтить не могу."
Мне оно не настолько надо...
...
Рейтинг: 0 / 0
31.05.2016, 14:00
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39248925
fortnet
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
fortnet
Участник
Это не сложно. Тем более на Unix- системах.
Из sql-dump c помощью awk или другого средства формируются sql-скрипты ( например ещё и с добавлением опций NOLOGGING и PARALLEL для индексов) и запускаются параллельно.
Для автообработки не важно сколько там индексов - 20 или 100500.
Эффект в ускорении явный.
Давно отказались от стандартного импорта индексов и констрейнтов.
И + TRANSFORM=DISABLE_ARCHIVE_LOGGING:Y
...
Рейтинг: 0 / 0
02.06.2016, 12:15
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39249820
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
fortnetЭто не сложно.
Я догадываюсь, что это не сложно, только мне это не надо. :)
...
Рейтинг: 0 / 0
03.06.2016, 10:19
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39249826
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
fortnetДавно отказались от стандартного импорта индексов и констрейнтов.
И + TRANSFORM=DISABLE_ARCHIVE_LOGGING:Y
А вы чё часто бы лечите при помощи пересоздания?
Или часто базы переновите на разные операционки?
Или вы таким методом бэкап-восстановление баз делаете?
...
Рейтинг: 0 / 0
03.06.2016, 10:22
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39249847
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
исправила опечатку:
AlionaА вы чё часто базы лечите при помощи пересоздания?
Или часто базы переновите на разные операционки?
Или вы таким методом бэкап-восстановление баз делаете?
...
Рейтинг: 0 / 0
03.06.2016, 10:37
| Ответить | Цитировать | Написать  
Период между сообщениями больше года.
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39467969
VDom
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VDom
Гость
Aliona,
Неоднократно пришлось переносить БД размером более 10 ТБ.
То мигрировали, то полигоны пришлось создавать на других платформах.
Для этого использую NFS хранилище (рековый фуджи).
Пром система с 48 ядрами, опытным путём определил что сторедж тянет 100 потоков.
Полный экспорт длится меньше суток.
Обязательно использую SCN так как за время выполнения БД может стать рассогласованной.

Один совет. Если есть большие таблицы с LOB то секционируйте их на количество секций кратное количеству потоков которое вы собираетесь использовать.
Иначе картина будет следующая : шустренько идёт экспорт в N потоков, доходит до большой таблицы с LOB и рабочим остаётся только один поток. Если таблица большая - экспорт может мягко говоря сильно затянуться. Если проскочит такую таблицу, то обычные таблицы продолжат выливаться с заданной степенью параллелизма.
...
Рейтинг: 0 / 0
07.06.2017, 16:21
| Ответить | Цитировать | Написать  
133 сообщений из 133, показаны все 6 страниц
  все  
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=52&tid=1885797]:
 0ms
get settings:
 7ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 147ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 88ms
get tp. blocked users:
 1ms
others: 204ms
total:  477ms
созд. / загр.: 477ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]