ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Перенос большого объема данных в другую БД
20 сообщений из 20, страница 1 из 1
Перенос большого объема данных в другую БД
    #39867949
Зурбаган
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зурбаган
Гость
БД - Oracle 10.
Надо из трёх таблиц первой БД перенести данные в другую БД. Данных много, порядка млрд. записей. Займут ~ 50-70 Гб.
Хочу перенести с использованием EXPDP/IMPDP.
Но есть вопросы:
1) Есть ли ограничения по размеру на файл дампа? Oracle сам разобьет на несколько файлов дамп?
2) Можно ли как-то экспортировать данные их трех таблиц с одинаковой структурой и импортировать потом их в одну таблицу?
...
Рейтинг: 0 / 0
27.09.2019, 15:41
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867955
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
ЗурбаганЕсть ли ограничения по размеру на файл дампа?Нет.ЗурбаганOracle сам разобьет на несколько файлов дамп?Нет.
ЗурбаганМожно ли как-то экспортировать данные их трех таблиц с одинаковой структурой и импортировать потом их в одну таблицу?Пори наличии мозгов - можно. Но не нужно. http://www.bugtraq.ru/forum/faq/general/smart-questions.html] RTFM
...
Рейтинг: 0 / 0
27.09.2019, 15:45
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867962
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
ElicЗурбаганЕсть ли ограничения по размеру на файл дампа?Нет.ЗурбаганOracle сам разобьет на несколько файлов дамп?Нет.
Есть.
Ограничение накладывает файловая система.
Некоторые умеют файлы до 32Гб, некоторые меньше, некоторые больше.
...
Рейтинг: 0 / 0
27.09.2019, 15:51
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867969
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
andrey_anonymousЕсть.
Ограничение накладывает файловая система.Правильно процитировать нужную часть оспариваемого утверждения - уже проблема?
...
Рейтинг: 0 / 0
27.09.2019, 15:56
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867970
Зурбаган
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зурбаган
Гость
andrey_anonymous,
Хорошо, при достижении дампа размера файла в 32 Гб что произведет с экспортом? Он прекратится?
...
Рейтинг: 0 / 0
27.09.2019, 15:57
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867974
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
ЗурбаганХорошо, при достижении дампа размера файла в 32 Гб что произведет с экспортом? Он прекратится?У адекватного специалиста есть где попробовать...
...
Рейтинг: 0 / 0
27.09.2019, 15:59
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867976
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
Зурбаганandrey_anonymous,
Хорошо, при достижении дампа размера файла в 32 Гб что произведет с экспортом? Он прекратится?
Если ФС больше не умеет - то рванёт.
Современные инкарнации ФС, как правило, умеют больше - но мало ли на чем у вас там сервак вертится.
...
Рейтинг: 0 / 0
27.09.2019, 15:59
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867989
Зурбаган
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зурбаган
Гость
andrey_anonymous,
сервак на windows server 2012
...
Рейтинг: 0 / 0
27.09.2019, 16:09
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867995
Надфиль
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Надфиль
Гость
ЗурбаганБД - Oracle 10.
Надо из трёх таблиц первой БД перенести данные в другую БД. Данных много, порядка млрд. записей. Займут ~ 50-70 Гб.

dblink не будет ли уместней?
...
Рейтинг: 0 / 0
27.09.2019, 16:15
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39867996
Зурбаган
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Зурбаган
Гость
Зурбаган,
в общем, через queries= буду развибать дампы на несколько и через impdp с TABLE_EXISTS_ACTION = APPEND заливать.
...
Рейтинг: 0 / 0
27.09.2019, 16:15
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868001
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
Зурбагансервак на windows server 2012
https://docs.microsoft.com/ru-ru/windows-server/storage/file-server/ntfs-overview Поддержка больших томов— NTFS может поддерживать тома размером до 256 терабайт.
Поддерживаемые размеры томов зависят от размера кластера и количества кластеров.
При использовании кластеров (232 – 1) (максимальное число кластеров, поддерживаемое NTFS)
поддерживаются следующие размеры томов и файлов.
Код: plaintext
Размер кластераСамый крупный томСамый крупный файл4 КБ (размер по умолчанию)16 ТБ16 ТБ8 КБ32 ТБ32 ТБ16 КБ64 ТБ64 ТБ32 КБ128 TB128 TB64 КБ (максимальный размер)256 ТБ256 ТБ
...
Рейтинг: 0 / 0
27.09.2019, 16:21
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868022
alex-ls
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
alex-ls
Участник
Зурбагансервак на windows server 2012
интересно, как выбирали?
...
Рейтинг: 0 / 0
27.09.2019, 16:49
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868023
Daniel Logovenko
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Daniel Logovenko
Гость
ЗурбаганЗурбаган,
в общем, через queries= буду развибать дампы на несколько и через impdp с TABLE_EXISTS_ACTION = APPEND заливать.
Зачем сложно так делать?
Лучше для Data Pump Export параметр FILESIZE использовать
Data Pump Export FILESIZE
Default: 0 (unlimited)

Purpose
Specifies the maximum size of each export dump file. If the size is reached for any member of the dump file set, that file is closed and an attempt is made to create a new file, if the file specification contains a substitution variable. If there is insufficient space on the device to write a file of the specified size, the export operation will stop. It can be restarted after the situation is corrected.

Syntax and Description
FILESIZE=integer[B | K | M | G]
А в DUMPFULE при этом substitution variable (%U) использовать.
...
Рейтинг: 0 / 0
27.09.2019, 16:51
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868037
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
ЗурбаганЗаймут ~ 50-70 Гб.

это по вашему - большой объем?
...
Рейтинг: 0 / 0
27.09.2019, 17:20
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868063
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
mefmanЗурбаганЗаймут ~ 50-70 Гб.

это по вашему - большой объем?
Это зависит от располагаемого оборудования и файловой системы.
К примеру, файл >4Gb будет сложно будет на флешку, отформатированную в FAT32.
Также сложно будет разместить такой файл в старой солярке (ядро до 2.5 включительно), 16Гб+ не поместится ext2, если та отформатирована с блоком 1Кб.
Где-то втыкался в 32Гб (склероз говорит - на NTFS, но вендор не согласен).
Короче, есть много вариантов, когда файл в 60Гб - это действительно много.
...блин, я же еще помню жесткие диски в 40Мб и искреннюю радость от приобретения хайтека на 840Мб... вот я динозавр
...
Рейтинг: 0 / 0
27.09.2019, 17:48
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868284
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
andrey_anonymousв старой солярке (ядро до 2.5 включительно)Это где ты такое откопал?
И как на нее мог встать даже не 10g, а хотя бы 9i ?

Ну и TRANSPORTABLE TABLESPACE наверное будет побыстрее
...
Рейтинг: 0 / 0
28.09.2019, 05:27
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868388
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
Вячеслав Любомудровandrey_anonymousв старой солярке (ядро до 2.5 включительно)Это где ты такое откопал?
И как на нее мог встать даже не 10g, а хотя бы 9i ?В чем проблема? Ограничение на размер файла UFS 8ГБ для минимального блока. Это превышало размер тогдашних дисков, а тогдашний семерочный oracle".exe" занимал не более ста мегабайт.
...
Рейтинг: 0 / 0
28.09.2019, 13:57
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868400
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
Ты сейчас о чем?
О том что бывает такая версия?
Есть сомнение, что ты с ней работал
Когда я начинал с соляркой (где-то 1994-6) уже было 2.5.1 (и оракл был 7.3.4)
Мне лениво искать требования для 8i, но 9i точно на 2.5 не ставился
...
Рейтинг: 0 / 0
28.09.2019, 14:38
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868745
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
Вячеслав ЛюбомудровЕсть сомнение, что ты с ней работалПиськой принято мериться по длине, а не старости.
...
Рейтинг: 0 / 0
29.09.2019, 21:52
| Ответить | Цитировать | Написать  
Перенос большого объема данных в другую БД
    #39868842
Вячеслав Любомудров
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Вячеслав Любомудров
Участник
...
Рейтинг: 0 / 0
30.09.2019, 03:16
| Ответить | Цитировать | Написать  
20 сообщений из 20, страница 1 из 1
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Перенос большого объема данных в другую БД
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&msg=39868001&tid=1882032]:
 0ms
get settings:
 11ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 41ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 64ms
get tp. blocked users:
 2ms
others: 14ms
total:  170ms
созд. / загр.: 170ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]