ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
25 сообщений из 133, страница 2 из 6
  2  все
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219482
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logЕсли трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.
В обычном экспорте нет параллельности.
Это будет не очень долго, а очень-очень-очень долго.
...
Рейтинг: 0 / 0
19.04.2016, 17:52
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219511
Фотография SY
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
SY
Участник
Alionaперед заливкой дампа надо архивлог отключить, потом включить.


Нe на базе в рабочем режиме. И не забывая сделать full backup после зaливки дампа.

SY.
...
Рейтинг: 0 / 0
19.04.2016, 18:40
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219600
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Aliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
...
Рейтинг: 0 / 0
19.04.2016, 21:14
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219624
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
Aliona,
В общем мысль пришла такая
делаешь экспорт dumpfile=expdata_%U.dmp filesize=4G logfile=expdata.log ...и тд...
в общем запускаешь и потихоньку по мере того как один за другим создаются файлы убираешь в другое место...или удаляешь...
в результате у тебя будет лог в котором будет время выполнения и тд....

profit...
challenge complete....
...
Рейтинг: 0 / 0
19.04.2016, 22:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219627
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
Тролин, добавлю дамп с _01 не удалять он пишет туда пока создает другие 02 03 и тд.
...
Рейтинг: 0 / 0
19.04.2016, 22:32
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219635
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
и последнее job datapump можно ставить на паузу....например в течении рабочего дня следишь удаляешь...( валерьянки или успокаивающим запастись надо), потом рабочий день закончился поставила на паузу....с утра пришла на работу resume_job и в бой...
...
Рейтинг: 0 / 0
19.04.2016, 22:44
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219671
Фотография Alexey Zhidkov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexey Zhidkov
Участник
trace.logAliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
может тогда стоит уточнить, а десятки ли в БД схем?
...
Рейтинг: 0 / 0
19.04.2016, 23:47
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219758
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Alexey Zhidkovtrace.logAliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
может тогда стоит уточнить, а десятки ли в БД схем?

Согласен :) Может у них БД с одной схемой на 10 табличек...Вообщем вариантов приведено много, нужно только выбрать правильный иии запастись временм и доп.ресурсами.
...
Рейтинг: 0 / 0
20.04.2016, 08:23
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219771
Тролин
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тролин
Участник
trace.log, На сколько страшна у меня табличка с 16ГБ? (вложение)
...
Рейтинг: 0 / 0
20.04.2016, 08:39
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219802
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Тролинtrace.log, На сколько страшна у меня табличка с 16ГБ? (вложение)

Я говорил о том, что выполнение распараллеливания не всегда панацея и поэтому если есть 1 таблица, которая весит, допустим все 8Тб из 10ТБ, то запускай хоть 10 потоков, они ничем не помогут для данной таблицы.
...
Рейтинг: 0 / 0
20.04.2016, 09:14
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219841
тупень_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
тупень_
Гость
trace.log если есть 1 таблица, которая весит, допустим все 8Тб из 10ТБ, то запускай хоть 10 потоков, они ничем не помогут для данной таблицы.
query=' where '
...
Рейтинг: 0 / 0
20.04.2016, 09:52
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219851
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
SYAlionaперед заливкой дампа надо архивлог отключить, потом включить.


Нe на базе в рабочем режиме. И не забывая сделать full backup после зaливки дампа.

SY.
А чё можно заливать в пустую БД full-дамп и при этом чтобы пользовательское приложение работало?
Или заливать дамп схемы и чтобы пользователи со схемой работали ?
:)
...
Рейтинг: 0 / 0
20.04.2016, 10:00
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219858
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logAliona,

А что мешает запустить несколько десятков эксопртов-посхемно?
схем штук 20, сейчас вычислю самую большую и попробую её выгрузить старым экспортом.
...
Рейтинг: 0 / 0
20.04.2016, 10:06
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219866
тупень_
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
тупень_
Гость
а еще можно в pipe на юниксе выгружать и сразу же загружать из него.

прям завидую - Алене всегда такие творческие задачи попадаются :)
...
Рейтинг: 0 / 0
20.04.2016, 10:12
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39219927
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
тупень_а еще можно в pipe на юниксе выгружать и сразу же загружать из него.

Загружать из него вряд ли получиться, поскольку грузить надо на тот же сервер, на тоже самое место.
Нету ни свободных серверов, ни свободного места.

тупень_прям завидую - Алене всегда такие творческие задачи попадаются :)
Завидовать нечему, 9 месяцев только протоколы читаю и мониторю, а эту задачу пока только "оцениваю", до исполнения время дойдёт не ранее чем через 6 месяцев
...
Рейтинг: 0 / 0
20.04.2016, 10:52
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220225
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
тупень_а еще можно в pipe на юниксе выгружать и сразу же загружать из него.


Такого никогда не пробовала, если не шутите, попробовать захотелось.

Есть место на тестовой exadat'e, предложила попробовать выгружать в pipe и одновременно грузить из pipe на exadat'у.
Сказали, что нельзя оттуда диски подключить. :(
...
Рейтинг: 0 / 0
20.04.2016, 14:35
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220250
legacy exp
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
legacy exp
Гость
Aliona,

pipe (fifo) можно другим процессом scpить на другой сервер. а можно делать экспорт непосредственно в сеть, если это bash. на другом конце должно висеть перенаправление из сети в файл.
место на экзадате, это ведь про диски, а не про место внутри бд?
...
Рейтинг: 0 / 0
20.04.2016, 14:53
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220355
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Отменяется, сервера находятся в разных сетях, связывать их никак нельзя.

Обещали через неделю подключить диск размером 6 Тб.
Ура, буду делать expdp!
...
Рейтинг: 0 / 0
20.04.2016, 15:55
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220481
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
trace.logЕсли трудности с дисками, может воспользоваться обычным експортом? он проходит с любого места.

запустила старый экспорт одной схемы (размером 3,3 Гб), pipe, compress

за 6 часов, выгрузилось 17 таблиц из 172. :(
заняло это 20 Гб диска.

Пожалуй, грохну процесс, поскольку диск обещали подключить,
ну его, этот старый экспорт.
...
Рейтинг: 0 / 0
20.04.2016, 17:11
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220597
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
Aliona,

Если есть время, то я бы оставил экспорт, пусть себе работает, медленно но уверенно.
...
Рейтинг: 0 / 0
20.04.2016, 19:49
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39220851
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
время есть, дисков нет.побоялась, что ночью ФС переполниться.
Когда диск подключат, тогда запущу ещё раз.
...
Рейтинг: 0 / 0
21.04.2016, 09:32
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39221180
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Ещё вопрос.
Подключаем для дампа один диск, т.е. одну файловую систему.

expdp full=Y лучше с parallel или без, чтобы ускорить?

Если с parallel, то сколько паралелить 2, 4, 6 ?

На сервере CPU state: 96% idle.
...
Рейтинг: 0 / 0
21.04.2016, 13:29
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39221185
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
Я бы скакал от min(количество_процессоров*2, количество сегментов (не индексов) размером > 10G)
...
Рейтинг: 0 / 0
21.04.2016, 13:36
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224442
Фотография Aliona
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Aliona
Участник
Диск подключили.
Выполнила expdp.

Хотя ESTIMATE_ONLY=Y выдавало:
Total estimation using BLOCKS method: 5800 MB - почти 6 Тб,

c compression=all дамп получился 1,5 Тб.

По нескольким таблицам были ошибки:
ORA-01555: snapshot too old

Когда буду делать дамп на чистовую, пользователей всех отключим, ошибок не должно быть.


expdp выполнялся 12 часов, impdp в пустую базу тоже будет выполняться 12 часов или дольше ?

Если так то, с методом TTS даже не буду заморачиваться.
...
Рейтинг: 0 / 0
26.04.2016, 10:02
| Ответить | Цитировать | Написать  
Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
    #39224460
trace.log
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
trace.log
Гость
AlionaДиск подключили.
Выполнила expdp.

Хотя ESTIMATE_ONLY=Y выдавало:
Total estimation using BLOCKS method: 5800 MB - почти 6 Тб,

c compression=all дамп получился 1,5 Тб.

По нескольким таблицам были ошибки:
ORA-01555: snapshot too old

Когда буду делать дамп на чистовую, пользователей всех отключим, ошибок не должно быть.


expdp выполнялся 12 часов, impdp в пустую базу тоже будет выполняться 12 часов или дольше ?

Если так то, с методом TTS даже не буду заморачиваться.

хороший результат для экспорта.

Импорт по опыту всегда проходит дольше.
...
Рейтинг: 0 / 0
26.04.2016, 10:26
| Ответить | Цитировать | Написать  
25 сообщений из 133, страница 2 из 6
  2  все
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Размер БД 10 Тб, как оценить размер полного дампа БД (expdp) ?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&msg=39219671&tid=1885797]:
 0ms
get settings:
 7ms
get forum list:
 17ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 180ms
get topic data:
 9ms
get forum data:
 2ms
get page messages:
 67ms
get tp. blocked users:
 1ms
others: 214ms
total:  503ms
созд. / загр.: 503ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]