Гость
Войти | Профиль | Очистить
Действия ...
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Перенос большого объема данных в другую БД / 20 сообщений из 20, страница 1 из 1
27.09.2019, 15:41
    #39867949
Зурбаган
Зурбаган
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
БД - Oracle 10.
Надо из трёх таблиц первой БД перенести данные в другую БД. Данных много, порядка млрд. записей. Займут ~ 50-70 Гб.
Хочу перенести с использованием EXPDP/IMPDP.
Но есть вопросы:
1) Есть ли ограничения по размеру на файл дампа? Oracle сам разобьет на несколько файлов дамп?
2) Можно ли как-то экспортировать данные их трех таблиц с одинаковой структурой и импортировать потом их в одну таблицу?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 15:45
    #39867955
Elic
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
ЗурбаганЕсть ли ограничения по размеру на файл дампа?Нет.ЗурбаганOracle сам разобьет на несколько файлов дамп?Нет.
ЗурбаганМожно ли как-то экспортировать данные их трех таблиц с одинаковой структурой и импортировать потом их в одну таблицу?Пори наличии мозгов - можно. Но не нужно. http://www.bugtraq.ru/forum/faq/general/smart-questions.html] RTFM
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 15:51
    #39867962
andrey_anonymous
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
ElicЗурбаганЕсть ли ограничения по размеру на файл дампа?Нет.ЗурбаганOracle сам разобьет на несколько файлов дамп?Нет.
Есть.
Ограничение накладывает файловая система.
Некоторые умеют файлы до 32Гб, некоторые меньше, некоторые больше.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 15:56
    #39867969
Elic
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
andrey_anonymousЕсть.
Ограничение накладывает файловая система.Правильно процитировать нужную часть оспариваемого утверждения - уже проблема?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 15:57
    #39867970
Зурбаган
Зурбаган
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
andrey_anonymous,
Хорошо, при достижении дампа размера файла в 32 Гб что произведет с экспортом? Он прекратится?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 15:59
    #39867974
Elic
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
ЗурбаганХорошо, при достижении дампа размера файла в 32 Гб что произведет с экспортом? Он прекратится?У адекватного специалиста есть где попробовать...
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 15:59
    #39867976
andrey_anonymous
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
Зурбаганandrey_anonymous,
Хорошо, при достижении дампа размера файла в 32 Гб что произведет с экспортом? Он прекратится?
Если ФС больше не умеет - то рванёт.
Современные инкарнации ФС, как правило, умеют больше - но мало ли на чем у вас там сервак вертится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 16:09
    #39867989
Зурбаган
Зурбаган
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
andrey_anonymous,
сервак на windows server 2012
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 16:15
    #39867995
Надфиль
Надфиль
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
ЗурбаганБД - Oracle 10.
Надо из трёх таблиц первой БД перенести данные в другую БД. Данных много, порядка млрд. записей. Займут ~ 50-70 Гб.

dblink не будет ли уместней?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 16:15
    #39867996
Зурбаган
Зурбаган
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
Зурбаган,
в общем, через queries= буду развибать дампы на несколько и через impdp с TABLE_EXISTS_ACTION = APPEND заливать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 16:21
    #39868001
andrey_anonymous
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
Зурбагансервак на windows server 2012
https://docs.microsoft.com/ru-ru/windows-server/storage/file-server/ntfs-overview Поддержка больших томов— NTFS может поддерживать тома размером до 256 терабайт.
Поддерживаемые размеры томов зависят от размера кластера и количества кластеров.
При использовании кластеров (232 – 1) (максимальное число кластеров, поддерживаемое NTFS)
поддерживаются следующие размеры томов и файлов.
Код: plaintext
Размер кластераСамый крупный томСамый крупный файл4 КБ (размер по умолчанию)16 ТБ16 ТБ8 КБ32 ТБ32 ТБ16 КБ64 ТБ64 ТБ32 КБ128 TB128 TB64 КБ (максимальный размер)256 ТБ256 ТБ
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 16:49
    #39868022
alex-ls
alex-ls
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
Зурбагансервак на windows server 2012
интересно, как выбирали?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 16:51
    #39868023
Daniel Logovenko
Daniel Logovenko
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
ЗурбаганЗурбаган,
в общем, через queries= буду развибать дампы на несколько и через impdp с TABLE_EXISTS_ACTION = APPEND заливать.
Зачем сложно так делать?
Лучше для Data Pump Export параметр FILESIZE использовать
Data Pump Export FILESIZE
Default: 0 (unlimited)

Purpose
Specifies the maximum size of each export dump file. If the size is reached for any member of the dump file set, that file is closed and an attempt is made to create a new file, if the file specification contains a substitution variable. If there is insufficient space on the device to write a file of the specified size, the export operation will stop. It can be restarted after the situation is corrected.

Syntax and Description
FILESIZE=integer[B | K | M | G]
А в DUMPFULE при этом substitution variable (%U) использовать.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 17:20
    #39868037
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
ЗурбаганЗаймут ~ 50-70 Гб.

это по вашему - большой объем?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
27.09.2019, 17:48
    #39868063
andrey_anonymous
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
mefmanЗурбаганЗаймут ~ 50-70 Гб.

это по вашему - большой объем?
Это зависит от располагаемого оборудования и файловой системы.
К примеру, файл >4Gb будет сложно будет на флешку, отформатированную в FAT32.
Также сложно будет разместить такой файл в старой солярке (ядро до 2.5 включительно), 16Гб+ не поместится ext2, если та отформатирована с блоком 1Кб.
Где-то втыкался в 32Гб (склероз говорит - на NTFS, но вендор не согласен).
Короче, есть много вариантов, когда файл в 60Гб - это действительно много.
...блин, я же еще помню жесткие диски в 40Мб и искреннюю радость от приобретения хайтека на 840Мб... вот я динозавр
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2019, 05:27
    #39868284
Вячеслав Любомудров
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
andrey_anonymousв старой солярке (ядро до 2.5 включительно)Это где ты такое откопал?
И как на нее мог встать даже не 10g, а хотя бы 9i ?

Ну и TRANSPORTABLE TABLESPACE наверное будет побыстрее
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2019, 13:57
    #39868388
-2-
-2-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
Вячеслав Любомудровandrey_anonymousв старой солярке (ядро до 2.5 включительно)Это где ты такое откопал?
И как на нее мог встать даже не 10g, а хотя бы 9i ?В чем проблема? Ограничение на размер файла UFS 8ГБ для минимального блока. Это превышало размер тогдашних дисков, а тогдашний семерочный oracle".exe" занимал не более ста мегабайт.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
28.09.2019, 14:38
    #39868400
Вячеслав Любомудров
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
Ты сейчас о чем?
О том что бывает такая версия?
Есть сомнение, что ты с ней работал
Когда я начинал с соляркой (где-то 1994-6) уже было 2.5.1 (и оракл был 7.3.4)
Мне лениво искать требования для 8i, но 9i точно на 2.5 не ставился
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
29.09.2019, 21:52
    #39868745
-2-
-2-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
Вячеслав ЛюбомудровЕсть сомнение, что ты с ней работалПиськой принято мериться по длине, а не старости.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
30.09.2019, 03:16
    #39868842
Вячеслав Любомудров
Вячеслав Любомудров
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Перенос большого объема данных в другую БД
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Перенос большого объема данных в другую БД / 20 сообщений из 20, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 413ms
Закрыть
start [/forum/topic.php?fid=52&mobile=1&tid=1882032]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 42ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 61ms
get tp. blocked users:
 2ms
others: 260ms
total:  413ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]