|
Действия ...
Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
12.11.2015, 17:54
|
|||
|---|---|---|---|
|
|||
Самый большой кластер на PostgreSQL |
|||
|
#18+
Есть задача хранить реляционные данные объёмом около 800 Тб в базе PostgreSQL. Естестенно, кластер будет шардиться, правда, пока не ясно, какое именно средство будем использовать для этого. В связи с этим возник вопрос - при каких объёмах кластера могут начаться проблемы? Где-то слышал, что не рекомендуют кластеры больше 10 Тб. И какие кому известны примеры действительно больших БД на PostgreSQL? Знаю про ebay - 6.5 Pb, но у них Greenpalm. Говорят, в АВИТО ещё большая база. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
12.11.2015, 18:00
|
|||
|---|---|---|---|
Самый большой кластер на PostgreSQL |
|||
|
#18+
bff7755a, на миллиарде смартфонов шардятся контакты, смски, фото и т.п. при каких объемах могут начаться проблемы?. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
12.11.2015, 18:04
|
|||
|---|---|---|---|
|
|||
Самый большой кластер на PostgreSQL |
|||
|
#18+
p2.bff7755a, на миллиарде смартфонов шардятся контакты, смски, фото и т.п. при каких объемах могут начаться проблемы?. Я имел в виду размер одного кластера. При этом я понимаю, что много зависит от железа и характера использования данных, но есть же какие-то архитектурные ограничения? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
12.11.2015, 20:02
|
|||
|---|---|---|---|
Самый большой кластер на PostgreSQL |
|||
|
#18+
bff7755a, сначала расскажите, что такое кластер. Потому что если шарды вполне независимы друг от друга, то ответ на Ваш вопрос очевиден: ограничений нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
13.11.2015, 02:55
|
|||
|---|---|---|---|
|
|||
Самый большой кластер на PostgreSQL |
|||
|
#18+
# select pg_size_pretty(pg_database_size ('____')); pg_size_pretty ---------------- 29 TB (1 row) # select pg_size_pretty(pg_database_size ('________')); pg_size_pretty ---------------- 18 TB (1 row) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
19.11.2015, 12:26
|
|||
|---|---|---|---|
Самый большой кластер на PostgreSQL |
|||
|
#18+
СергейК, чем и как бекапите ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
21.11.2015, 20:39
|
|||
|---|---|---|---|
|
|||
Самый большой кластер на PostgreSQL |
|||
|
#18+
djeday84, Одна база у меня обновляется довольно редко, так что я ее бэкаплю раз в месяц (на NFS диск), используя pitrery https://dalibo.github.io/pitrery/. Другая база, которая обновляется регулярно, во-первых, реплицируется (streaming replication), а, во-вторых, раз в неделю делается PITR / pitrery backup. Так как Pitrery умеет сжимать файлы и можно использовать параллельный bzip2, то размер backup'a и время затраченное на него не такое большое (1-2 дня). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=53&tablet=1&tid=1997619]: |
0ms |
get settings: |
5ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
158ms |
get topic data: |
6ms |
get forum data: |
2ms |
get page messages: |
26ms |
get tp. blocked users: |
1ms |
| others: | 237ms |
| total: | 447ms |
| 0 / 0 |
