ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
11 сообщений из 11, страница 1 из 1
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39330141
zzz130
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zzz130
Гость
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?

Есть задача перенести данные из разных оракловых инстансов в хранилище на Hadoop
В Hadoop есть ПО, которое умеет тянуть данные по JDBC, но получается крайне долго
В принципе, данные могут отдать в виде файлов, экспортировав их в data pump

Возник вопрос, можно ли чем-нибудь прочитать эти файлы, не поднимая у себя инстанс Oracle?
Вроде бы как формат файлов там XML, но структура скорее всего будет иметь сложную для понимания человеком логику, то есть конечно за пару месяцев можно и программку нужную написать, но возможно есть более простой подход...


BTW, а можно ли из Оракла экспортировать таблицы в какой-либо еще относительно распространенный формат?
...
Рейтинг: 0 / 0
19.10.2016, 19:08
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39330142
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dbms_photoshop
Участник
csv
...
Рейтинг: 0 / 0
19.10.2016, 19:13
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39330828
zzz130
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zzz130
Гость
Бинарные поля однако в csv трудно пойдут

Есть ли вообще штатные утилиты для экспорта базы целиком в какой-либо формат, кроме data pump?
...
Рейтинг: 0 / 0
20.10.2016, 16:10
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39330833
Фотография -2-
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
-2-
Участник
zzz130кроме data pump?Вопрос звучит так, что ты умеешь загружать абсолютно любой формат, кроме датапамп и csv.
...
Рейтинг: 0 / 0
20.10.2016, 16:15
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39330835
Фотография andrey_anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
andrey_anonymous
Участник
zzz130Есть ли вообще штатные утилиты для экспорта базы целиком в какой-либо формат, кроме data pump?
Да, rman :)

Вопрос не в формате.
Вопрос - что вы собираетесь делать с "базой целиком" без инструмента, умеющего с этой базой работать - хотя бы понимать, где что лежит и как завязано.
...
Рейтинг: 0 / 0
20.10.2016, 16:17
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39330902
Фотография Jebrail
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Jebrail
Участник
Все есть .

Transferring Bulk Data between Oracle Database and Hadoop Ecosystem with Sqoop

Big Data SQL User's Guide
...
Рейтинг: 0 / 0
20.10.2016, 17:18
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39331471
zzz130
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zzz130
Гость
-2-zzz130кроме data pump?Вопрос звучит так, что ты умеешь загружать абсолютно любой формат, кроме датапамп и csv.

csv мы можем разобрать, само собой, правда типы данных в заголовках не описаны, и придется их вручную выставлять на тысячах таблиц, с риском что колонки поедут из-за лишней табуляции или точки с запятой в строковом поле
тут вопрос в том, есть ли инструмент для того, чтобы перелить разом всю базу в набор csv файлов

Data pump это такой совсем некислый XML, который еще надо сильно постараться чтобы понять, поэтому и была надежда на что-то более легковесное...

А так да, AVRO, ORC или PARQUET было бы совсем хорошо :)
...
Рейтинг: 0 / 0
21.10.2016, 12:55
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39331475
zzz130
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zzz130
Гость
andrey_anonymouszzz130Есть ли вообще штатные утилиты для экспорта базы целиком в какой-либо формат, кроме data pump?
Да, rman :)

Вопрос не в формате.
Вопрос - что вы собираетесь делать с "базой целиком" без инструмента, умеющего с этой базой работать - хотя бы понимать, где что лежит и как завязано.

есть масса инструментов, позволяющих читать данные из hadoop sql-запросами, отчеты строить и все такое
логику связей между таблицами, само собой, разберем, ну там явно не rocket sciense, ну и документация какая-никакая присутствует :)
...
Рейтинг: 0 / 0
21.10.2016, 12:58
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39331478
zzz130
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
zzz130
Гость
JebrailВсе есть .

Transferring Bulk Data between Oracle Database and Hadoop Ecosystem with Sqoop

Big Data SQL User's Guide

sqoop умеет тянуть данные только из JDBC источников, с грудой файлов он работать не умеет


oracle big data sql и exadata это отдельные приблуды с непонятной стоимостью и эффективностью,
они умеют складывать файлы data pump в хранилище как есть, без конвертации, и умеют потом читать их
беда в том, что никто кроме них потом эти данные не прочитает
...
Рейтинг: 0 / 0
21.10.2016, 13:00
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39331576
Alexander Ryndin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexander Ryndin
Участник
zzz130JebrailВсе есть .

Transferring Bulk Data between Oracle Database and Hadoop Ecosystem with Sqoop

Big Data SQL User's Guide

sqoop умеет тянуть данные только из JDBC источников, с грудой файлов он работать не умеет


oracle big data sql и exadata это отдельные приблуды с непонятной стоимостью и эффективностью,
они умеют складывать файлы data pump в хранилище как есть, без конвертации, и умеют потом читать их
беда в том, что никто кроме них потом эти данные не прочитаетДавайте по порядку.

1) Есть Oracle Datasource for Hadoop (OD4H) . Он презентую таблицы Oracle через метаслой Hive. В результате эти таблицы доступны всем (Hadoop, Hive, Spark, etc). Данные передаются через JDBC, но там много всяких твиков, которые позволяют распараллелить передачу по блокам, строкам, партициям. Так что это быстрее чем SQOOP. Плюс это передача на лету. OD4H у меня описан в блоге .

2) Есть Copy2Hadoop (раньше назывался Copy2BDA ). Он позволяет сделать выгрузку с помощью Data Pump, загрузить этот dmp-файл в HDFS и увидеть таблицы в dmp-файле через метаслой Hive с помощью специального SERDE. Т.е. эти данные опять доступны всем - Hadoop, Hive, Spark, etc.
Более подробно есть в документации .
Я попозже напишу у себя в блоге про Copy2Hadoop .
...
Рейтинг: 0 / 0
21.10.2016, 14:24
| Ответить | Цитировать | Написать  
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
    #39331862
Фотография dbms_photoshop
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
dbms_photoshop
Участник
zzz130csv мы можем разобрать, само собой, правда типы данных в заголовках не описаны, и придется их вручную выставлять на тысячах таблицУ нас сделано так:
Все csv включают заголовки столбцов первой строкой
Написана тулза, которая
1) смотрит заголовки в csv и мапит их на столбцы таблиц, которые определены в hive metastore (по совпадению имен)
2) грузит csv из файловой системы в hdfs конвертируя в соответствюущий формат (будь то avro, parquet или прочее, что поддерживается тулзой).
Миллиарды строк льются, все гуд.

Если хочется хардкора, то есть CSV Serde. :)
Но очевидно это не лучший формат для хранилищ.
...
Рейтинг: 0 / 0
21.10.2016, 18:10
| Ответить | Цитировать | Написать  
11 сообщений из 11, страница 1 из 1
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&gotonew=1&tid=1887173]:
 0ms
get settings:
 8ms
get forum list:
 21ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 164ms
get topic data:
 11ms
get first new msg:
 6ms
get forum data:
 3ms
get page messages:
 56ms
get tp. blocked users:
 1ms
others: 284ms
total:  560ms
созд. / загр.: 560ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]