
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
30.03.2020, 20:44
|
|||
|---|---|---|---|
Понедельничные разговоры об экспорте и column-oriented files. |
|||
|
#18+
Привет котаны-бротаны и удалёнщики. Заметил забавный эффект. При экспорте таблички в BigData-вские форматы такие как Apache ORC https://orc.apache.org/ я получаю полезный эффект архивации. Причем коэффициент сжатия получше чем если-бы тот-же формат экспортнуть в CSV. Конечно этот орк не так прост и не только вращает табличку на 90 градусов но и гоняет по ней свои методы утрамбовки data rows. Я правда экспериментировал с PG но думаю скоро попробую с Oracle. Может насетаплю консольную утилитку чтоб можно было сделать нечто вроде Код: plsql 1. Кто поддержит меня в этой авантюре? Потом на очереди будет импорт. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.03.2020, 21:36
|
|||
|---|---|---|---|
Понедельничные разговоры об экспорте и column-oriented files. |
|||
|
#18+
mayton, а зачем чё-то писать ? спарком же это делается одной строкой ... я перегонял в parquet.gz, у меня в 5 раз примерно упаковывалось, относительно датафайлов без компрессии. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
30.03.2020, 21:45
|
|||
|---|---|---|---|
Понедельничные разговоры об экспорте и column-oriented files. |
|||
|
#18+
Хм... подтягивать фреймворк чтоб сделать экспорт. Ну ок. С паркетом не работал вобщем-то. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
31.03.2020, 01:57
|
|||
|---|---|---|---|
Понедельничные разговоры об экспорте и column-oriented files. |
|||
|
#18+
В чём собственно открытие, в том что поколоночный формат хранения лучше жмётся? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
31.03.2020, 07:51
|
|||
|---|---|---|---|
Понедельничные разговоры об экспорте и column-oriented files. |
|||
|
#18+
mayton котаны-бротаны ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
31.03.2020, 09:53
|
|||
|---|---|---|---|
Понедельничные разговоры об экспорте и column-oriented files. |
|||
|
#18+
Мое пятничное обращение. Но если коробит - могу сказать - товарищи. Или граждане. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
31.03.2020, 10:01
|
|||
|---|---|---|---|
Понедельничные разговоры об экспорте и column-oriented files. |
|||
|
#18+
mayton Мое пятничное обращение. mayton Но если коробит - могу сказать - товарищи. Или граждане. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|

start [/forum/topic.php?fid=52&tablet=1&tid=1881400]: |
0ms |
get settings: |
7ms |
get forum list: |
16ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
63ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
52ms |
get tp. blocked users: |
1ms |
| others: | 191ms |
| total: | 350ms |

| 0 / 0 |
