Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
30.03.2021, 12:34
|
|||
---|---|---|---|
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)? |
|||
#18+
Здравствуйте. Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL? Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти? Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL? Зачем это все надо? Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.03.2021, 13:42
|
|||
---|---|---|---|
|
|||
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)? |
|||
#18+
Pvase Здравствуйте. Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL? Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти? Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL? Зачем это все надо? Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать? "Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?" - придется делать все программно, прописывая всю логику процедурно. Прочитайте про партиции, в итоге реализуете parent - child иерархию для таблиц, с созданием, добавлением, распределением данных https://www.postgresql.org/docs/ Можно пойти дальше и наваять функций, которые потом будут считывать данные из определенного набора таблиц, в зависимости от параметров/условий ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение) In - memory нет, по крайней мере в 11. Но здесь больше вопрос а надо ли, попробуйте для начала обернуть в мат вьюхи 2 тб немного, линейное масштабирование вас спасет ну и попробуйте вбить Postgre VS Mssql ... |
|||
:
Нравится:
Не нравится:
|
|||
|
30.03.2021, 16:26
|
|||
---|---|---|---|
|
|||
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)? |
|||
#18+
Pvase Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL? Зачем это все надо? Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать? 1)партиционирование есть... поддержка tablespaces есть... соответственно - из этих 2х вещей собирается то что вам надо. 2)2TB в год не так много... за 5 лет всего 10TB... если старые партиции будут readonly то вообще проблем не будет ни с чем особо. Сервер с 20TB ssd не то чтобы невозможен за разумные деньги. Рекомендую помесячное партиционирование на таких объемах (чтобы партиции за 200-500gb размера не выходили). -- Maxim Boguk лучшая поддержка PostgreSQL: dataegret.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
|
01.04.2021, 17:38
|
|||
---|---|---|---|
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)? |
|||
#18+
yob ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение) Спасибо, можете показать в каких базах это есть? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
19.02.2022, 13:12
|
|||
---|---|---|---|
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)? |
|||
#18+
Pvase Здравствуйте. Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL? Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти? Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL? Зачем это все надо? Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать? https://www.citusdata.com/product/community так же есть и шардирование в citus или просто в постгресе https://github.com/postgrespro/shardman ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=53&mobile=1&tid=1993650]: |
0ms |
get settings: |
8ms |
get forum list: |
16ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
30ms |
get topic data: |
11ms |
get forum data: |
2ms |
get page messages: |
44ms |
get tp. blocked users: |
2ms |
others: | 252ms |
total: | 373ms |
0 / 0 |