Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Понедельничные разговоры об экспорте и column-oriented files. / 8 сообщений из 8, страница 1 из 1
30.03.2020, 20:44
    #39942350
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
Привет котаны-бротаны и удалёнщики.

Заметил забавный эффект. При экспорте таблички в BigData-вские форматы такие как Apache ORC https://orc.apache.org/
я получаю полезный эффект архивации. Причем коэффициент сжатия получше чем если-бы тот-же
формат экспортнуть в CSV. Конечно этот орк не так прост и не только вращает табличку на 90 градусов
но и гоняет по ней свои методы утрамбовки data rows.

Я правда экспериментировал с PG но думаю скоро попробую с Oracle.

Может насетаплю консольную утилитку чтоб можно было сделать нечто вроде

Код: plsql
1.
$ export-apache-orc "jdbc:this:scott/tiger@XE" EMP file-emp.orc



Кто поддержит меня в этой авантюре? Потом на очереди будет импорт.
...
Рейтинг: 0 / 0
30.03.2020, 21:36
    #39942365
H5N1
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
mayton,

а зачем чё-то писать ? спарком же это делается одной строкой ...
я перегонял в parquet.gz, у меня в 5 раз примерно упаковывалось, относительно датафайлов без компрессии.
...
Рейтинг: 0 / 0
30.03.2020, 21:45
    #39942366
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
Хм... подтягивать фреймворк чтоб сделать экспорт. Ну ок. С паркетом не работал вобщем-то.
...
Рейтинг: 0 / 0
31.03.2020, 01:57
    #39942400
Vivat!San
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
В чём собственно открытие, в том что поколоночный формат хранения лучше жмётся?
...
Рейтинг: 0 / 0
31.03.2020, 07:51
    #39942413
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
mayton
котаны-бротаны
Ты кто, чудак?
...
Рейтинг: 0 / 0
31.03.2020, 09:53
    #39942442
mayton
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
Мое пятничное обращение. Но если коробит - могу сказать - товарищи. Или граждане.
...
Рейтинг: 0 / 0
31.03.2020, 10:01
    #39942447
Elic
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
mayton
Мое пятничное обращение.
Вряд ли кого-то интересуют твои личные мозговые блохи.
mayton
Но если коробит - могу сказать - товарищи. Или граждане.
Такую херню можно было пороть в пт. А в проффорумы обыкновенные "граждане" или "товарищи" не ходят.
...
Рейтинг: 0 / 0
31.03.2020, 10:31
    #39942461
pihel
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Понедельничные разговоры об экспорте и column-oriented files.
mayton,

если не хочется спарк, можно sqoop, синтаксис будет такой же как у вас в первом сообщении
...
Рейтинг: 0 / 0
Форумы / Oracle [игнор отключен] [закрыт для гостей] / Понедельничные разговоры об экспорте и column-oriented files. / 8 сообщений из 8, страница 1 из 1
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]