Гость
Войти | Профиль | Очистить
Целевая тема:
Создать новую тему:
Автор:
Действия ...
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle? / 11 сообщений из 11, страница 1 из 1
19.10.2016, 19:08
    #39330141
zzz130
zzz130
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?

Есть задача перенести данные из разных оракловых инстансов в хранилище на Hadoop
В Hadoop есть ПО, которое умеет тянуть данные по JDBC, но получается крайне долго
В принципе, данные могут отдать в виде файлов, экспортировав их в data pump

Возник вопрос, можно ли чем-нибудь прочитать эти файлы, не поднимая у себя инстанс Oracle?
Вроде бы как формат файлов там XML, но структура скорее всего будет иметь сложную для понимания человеком логику, то есть конечно за пару месяцев можно и программку нужную написать, но возможно есть более простой подход...


BTW, а можно ли из Оракла экспортировать таблицы в какой-либо еще относительно распространенный формат?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
19.10.2016, 19:13
    #39330142
dbms_photoshop
dbms_photoshop
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
csv
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.10.2016, 16:10
    #39330828
zzz130
zzz130
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
Бинарные поля однако в csv трудно пойдут

Есть ли вообще штатные утилиты для экспорта базы целиком в какой-либо формат, кроме data pump?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.10.2016, 16:15
    #39330833
-2-
-2-
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
zzz130кроме data pump?Вопрос звучит так, что ты умеешь загружать абсолютно любой формат, кроме датапамп и csv.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.10.2016, 16:17
    #39330835
andrey_anonymous
andrey_anonymous
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
zzz130Есть ли вообще штатные утилиты для экспорта базы целиком в какой-либо формат, кроме data pump?
Да, rman :)

Вопрос не в формате.
Вопрос - что вы собираетесь делать с "базой целиком" без инструмента, умеющего с этой базой работать - хотя бы понимать, где что лежит и как завязано.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
20.10.2016, 17:18
    #39330902
Jebrail
Jebrail
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
Все есть .

Transferring Bulk Data between Oracle Database and Hadoop Ecosystem with Sqoop

Big Data SQL User's Guide
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.10.2016, 12:55
    #39331471
zzz130
zzz130
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
-2-zzz130кроме data pump?Вопрос звучит так, что ты умеешь загружать абсолютно любой формат, кроме датапамп и csv.

csv мы можем разобрать, само собой, правда типы данных в заголовках не описаны, и придется их вручную выставлять на тысячах таблиц, с риском что колонки поедут из-за лишней табуляции или точки с запятой в строковом поле
тут вопрос в том, есть ли инструмент для того, чтобы перелить разом всю базу в набор csv файлов

Data pump это такой совсем некислый XML, который еще надо сильно постараться чтобы понять, поэтому и была надежда на что-то более легковесное...

А так да, AVRO, ORC или PARQUET было бы совсем хорошо :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.10.2016, 12:58
    #39331475
zzz130
zzz130
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
andrey_anonymouszzz130Есть ли вообще штатные утилиты для экспорта базы целиком в какой-либо формат, кроме data pump?
Да, rman :)

Вопрос не в формате.
Вопрос - что вы собираетесь делать с "базой целиком" без инструмента, умеющего с этой базой работать - хотя бы понимать, где что лежит и как завязано.

есть масса инструментов, позволяющих читать данные из hadoop sql-запросами, отчеты строить и все такое
логику связей между таблицами, само собой, разберем, ну там явно не rocket sciense, ну и документация какая-никакая присутствует :)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.10.2016, 13:00
    #39331478
zzz130
zzz130
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
JebrailВсе есть .

Transferring Bulk Data between Oracle Database and Hadoop Ecosystem with Sqoop

Big Data SQL User's Guide

sqoop умеет тянуть данные только из JDBC источников, с грудой файлов он работать не умеет


oracle big data sql и exadata это отдельные приблуды с непонятной стоимостью и эффективностью,
они умеют складывать файлы data pump в хранилище как есть, без конвертации, и умеют потом читать их
беда в том, что никто кроме них потом эти данные не прочитает
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.10.2016, 14:24
    #39331576
Alexander Ryndin
Alexander Ryndin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
zzz130JebrailВсе есть .

Transferring Bulk Data between Oracle Database and Hadoop Ecosystem with Sqoop

Big Data SQL User's Guide

sqoop умеет тянуть данные только из JDBC источников, с грудой файлов он работать не умеет


oracle big data sql и exadata это отдельные приблуды с непонятной стоимостью и эффективностью,
они умеют складывать файлы data pump в хранилище как есть, без конвертации, и умеют потом читать их
беда в том, что никто кроме них потом эти данные не прочитаетДавайте по порядку.

1) Есть Oracle Datasource for Hadoop (OD4H) . Он презентую таблицы Oracle через метаслой Hive. В результате эти таблицы доступны всем (Hadoop, Hive, Spark, etc). Данные передаются через JDBC, но там много всяких твиков, которые позволяют распараллелить передачу по блокам, строкам, партициям. Так что это быстрее чем SQOOP. Плюс это передача на лету. OD4H у меня описан в блоге .

2) Есть Copy2Hadoop (раньше назывался Copy2BDA ). Он позволяет сделать выгрузку с помощью Data Pump, загрузить этот dmp-файл в HDFS и увидеть таблицы в dmp-файле через метаслой Hive с помощью специального SERDE. Т.е. эти данные опять доступны всем - Hadoop, Hive, Spark, etc.
Более подробно есть в документации .
Я попозже напишу у себя в блоге про Copy2Hadoop .
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
21.10.2016, 18:10
    #39331862
dbms_photoshop
dbms_photoshop
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle?
zzz130csv мы можем разобрать, само собой, правда типы данных в заголовках не описаны, и придется их вручную выставлять на тысячах таблицУ нас сделано так:
Все csv включают заголовки столбцов первой строкой
Написана тулза, которая
1) смотрит заголовки в csv и мапит их на столбцы таблиц, которые определены в hive metastore (по совпадению имен)
2) грузит csv из файловой системы в hdfs конвертируя в соответствюущий формат (будь то avro, parquet или прочее, что поддерживается тулзой).
Миллиарды строк льются, все гуд.

Если хочется хардкора, то есть CSV Serde. :)
Но очевидно это не лучший формат для хранилищ.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Как вынуть данные из файлов data pump не поднимая временный инстанс Oracle? / 11 сообщений из 11, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение  
Полит. конфиден.  
созд. / загр.: 309ms
Закрыть
start [/forum/topic.php?fid=52&mobile=1&tid=1887173]:
 0ms
get settings:
 6ms
get forum list:
 10ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 25ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 41ms
get tp. blocked users:
 1ms
others: 212ms
total:  309ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]