ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Понедельничные разговоры об экспорте и column-oriented files.
8 сообщений из 8, страница 1 из 1
Понедельничные разговоры об экспорте и column-oriented files.
    #39942350
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Привет котаны-бротаны и удалёнщики.

Заметил забавный эффект. При экспорте таблички в BigData-вские форматы такие как Apache ORC https://orc.apache.org/
я получаю полезный эффект архивации. Причем коэффициент сжатия получше чем если-бы тот-же
формат экспортнуть в CSV. Конечно этот орк не так прост и не только вращает табличку на 90 градусов
но и гоняет по ней свои методы утрамбовки data rows.

Я правда экспериментировал с PG но думаю скоро попробую с Oracle.

Может насетаплю консольную утилитку чтоб можно было сделать нечто вроде

Код: plsql
1.
$ export-apache-orc "jdbc:this:scott/tiger@XE" EMP file-emp.orc



Кто поддержит меня в этой авантюре? Потом на очереди будет импорт.
...
Рейтинг: 0 / 0
30.03.2020, 20:44
| Ответить | Цитировать | Написать  
Понедельничные разговоры об экспорте и column-oriented files.
    #39942365
H5N1
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
H5N1
Участник
mayton,

а зачем чё-то писать ? спарком же это делается одной строкой ...
я перегонял в parquet.gz, у меня в 5 раз примерно упаковывалось, относительно датафайлов без компрессии.
...
Рейтинг: 0 / 0
30.03.2020, 21:36
| Ответить | Цитировать | Написать  
Понедельничные разговоры об экспорте и column-oriented files.
    #39942366
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Хм... подтягивать фреймворк чтоб сделать экспорт. Ну ок. С паркетом не работал вобщем-то.
...
Рейтинг: 0 / 0
30.03.2020, 21:45
| Ответить | Цитировать | Написать  
Понедельничные разговоры об экспорте и column-oriented files.
    #39942400
Фотография Vivat!San
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vivat!San
Участник
В чём собственно открытие, в том что поколоночный формат хранения лучше жмётся?
...
Рейтинг: 0 / 0
31.03.2020, 01:57
| Ответить | Цитировать | Написать  
Понедельничные разговоры об экспорте и column-oriented files.
    #39942413
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
mayton
котаны-бротаны
Ты кто, чудак?
...
Рейтинг: 0 / 0
31.03.2020, 07:51
| Ответить | Цитировать | Написать  
Понедельничные разговоры об экспорте и column-oriented files.
    #39942442
Фотография mayton
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mayton
Участник
Мое пятничное обращение. Но если коробит - могу сказать - товарищи. Или граждане.
...
Рейтинг: 0 / 0
31.03.2020, 09:53
| Ответить | Цитировать | Написать  
Понедельничные разговоры об экспорте и column-oriented files.
    #39942447
Фотография Elic
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Elic
Участник
mayton
Мое пятничное обращение.
Вряд ли кого-то интересуют твои личные мозговые блохи.
mayton
Но если коробит - могу сказать - товарищи. Или граждане.
Такую херню можно было пороть в пт. А в проффорумы обыкновенные "граждане" или "товарищи" не ходят.
...
Рейтинг: 0 / 0
31.03.2020, 10:01
| Ответить | Цитировать | Написать  
Понедельничные разговоры об экспорте и column-oriented files.
    #39942461
pihel
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
pihel
Гость
mayton,

если не хочется спарк, можно sqoop, синтаксис будет такой же как у вас в первом сообщении
...
Рейтинг: 0 / 0
31.03.2020, 10:31
| Ответить | Цитировать | Написать  
8 сообщений из 8, страница 1 из 1
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Понедельничные разговоры об экспорте и column-oriented files.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=52&fpage=49&tid=1881400]:
 0ms
get settings:
 10ms
get forum list:
 12ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 38ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 44ms
get tp. blocked users:
 2ms
others: 279ms
total:  406ms
созд. / загр.: 406ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]