ReSQL.ru
     
powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
5 сообщений из 5, страница 1 из 1
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
    #40058168
Pvase
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pvase
Участник
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?
...
Рейтинг: 0 / 0
30.03.2021, 12:34
| Ответить | Цитировать | Написать  
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
    #40058197
yob
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
yob
Гость
Pvase
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?

"Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?" - придется делать все программно, прописывая всю логику процедурно.
Прочитайте про партиции, в итоге реализуете parent - child иерархию для таблиц, с созданием, добавлением, распределением данных
https://www.postgresql.org/docs/
Можно пойти дальше и наваять функций, которые потом будут считывать данные из определенного набора таблиц, в зависимости от параметров/условий

ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение)
In - memory нет, по крайней мере в 11. Но здесь больше вопрос а надо ли, попробуйте для начала обернуть в мат вьюхи
2 тб немного, линейное масштабирование вас спасет
ну и попробуйте вбить Postgre VS Mssql
...
Рейтинг: 0 / 0
30.03.2021, 13:42
| Ответить | Цитировать | Написать  
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
    #40058290
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
Pvase

Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?


1)партиционирование есть... поддержка tablespaces есть... соответственно - из этих 2х вещей собирается то что вам надо.

2)2TB в год не так много... за 5 лет всего 10TB... если старые партиции будут readonly то вообще проблем не будет ни с чем особо.
Сервер с 20TB ssd не то чтобы невозможен за разумные деньги.
Рекомендую помесячное партиционирование на таких объемах (чтобы партиции за 200-500gb размера не выходили).


--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
30.03.2021, 16:26
| Ответить | Цитировать | Написать  
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
    #40058927
Pvase
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Pvase
Участник
yob
ColumnStore нету, вместо этого есть целые базы данных на базе пострге, обеспечивающие поколоночное хранение)

Спасибо, можете показать в каких базах это есть?
...
Рейтинг: 0 / 0
01.04.2021, 17:38
| Ответить | Цитировать | Написать  
Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
    #40135265
akalend
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
akalend
Участник
Pvase
Здравствуйте.
Интересует живучесть PostgreSQL на больших базах и таблицах. В MS SQL для решения проблем очень больших таблиц, которые не меняются а только добавляются в них данные, есть такой индекс как ColumnStore. Он позволяет существенно сократить место таблицы на диске, а также в разы повысить чтение данных из такой таблицы при некоторых условиях. Есть ли такое в базе PostgreSQL?
Параллельно вопрос, есть ли принудительное размещение некоторых таблицы в оперативной памяти?
Еще интересует вопрос о секциях таблиц, которые позволяют по некоторым условиям разделить таблицу на разные файловые группы, есть ли такое в PostgreSQL?

Зачем это все надо?
Сейчас проектируем некоторую БД для хранилища данных. В среднем 2 ТБ в год данных будет, рассматриваем потянет ли PostgreSQL сколько данных и как он с ними будет работать?


https://www.citusdata.com/product/community
так же есть и шардирование в citus или просто в постгресе https://github.com/postgrespro/shardman
...
Рейтинг: 0 / 0
19.02.2022, 13:12
| Ответить | Цитировать | Написать  
5 сообщений из 5, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Подскажите есть ли в PostgreSQL поколоночные индексы, размещение баз в памяти (InMemory)?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (1): Анонимы (1)
Пользователи онлайн (6): Анонимы (4), Yandex Bot, Bing Bot 7 мин.
Польз. соглашение
NoSQL.ru, Чат Кролика       Пашэ: Рисунки, Чат       Фотоальбом: Участники, Встречи
Закрыть
Start [/forum/topic.php?fid=53&tid=1993650&gotonew=1]:
 0ms
get settings:
 0ms
get forum list:
 10ms
check forum access:
 2ms
check topic access:
 2ms
track hit:
 28ms
get topic data:
 4ms
get first new msg:
 6ms
get forum data:
 1ms
get page messages:
 11ms
update_topic_read_status (1993650): 19.02.2022 13:12:11:
 0ms
get tp. blocked users:
 0ms
get online users:
 16ms
check new:
 81ms
others: 89ms
total:  250ms
созд. / загр.: 250ms (нв.: 81ms)
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]