Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)? / 5 сообщений из 5, страница 1 из 1
30.03.2021, 12:34
    #40058168
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?
...
Рейтинг: 0 / 0
30.03.2021, 13:42
    #40058197
yob
yob
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
Pvase
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?

"Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?" - придется делать все программно, прописывая всю логику процедурно.
Прочитайте про партиции, в итоге реализуете parent - child иерархию для таблиц, с созданием, добавлением, распределением данных
https://www.postgresql.org/docs/
Можно пойти дальше и наваять функций, которые потом будут считывать данные из определенного набора таблиц, в зависимости от параметров/условий

ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение)
In - memory нет, по крайней мере в 11. Но здесь больше вопрос а надо ли, попробуйте для начала обернуть в мат вьюхи
2 тб немного, линейное масштабирование вас спасет
ну и попробуйте вбить Postgre VS Mssql
...
Рейтинг: 0 / 0
30.03.2021, 16:26
    #40058290
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
Pvase

Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?


1)партиционирование есть... поддержка tablespaces есть... соответственно - из этих 2х вещей собирается то что вам надо.

2)2TB в год не так много... за 5 лет всего 10TB... если старые партиции будут readonly то вообще проблем не будет ни с чем особо.
Сервер с 20TB ssd не то чтобы невозможен за разумные деньги.
Рекомендую помесячное партиционирование на таких объемах (чтобы партиции за 200-500gb размера не выходили).


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
01.04.2021, 17:38
    #40058927
Pvase
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
yob
ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение)

Спасибо, можете показать в каких базах это есть?
...
Рейтинг: 0 / 0
19.02.2022, 13:12
    #40135265
akalend
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
Pvase
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?


https://www.citusdata.com/product/community
так же есть и шардирование в citus или просто в постгресе https://github.com/postgrespro/shardman
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)? / 5 сообщений из 5, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]