|
|
|
Самый большой кластер на PostgreSQL
|
|||
|---|---|---|---|
|
#18+
Есть задача хранить реляционные данные объёмом около 800 Тб в базе PostgreSQL. Естестенно, кластер будет шардиться, правда, пока не ясно, какое именно средство будем использовать для этого. В связи с этим возник вопрос - при каких объёмах кластера могут начаться проблемы? Где-то слышал, что не рекомендуют кластеры больше 10 Тб. И какие кому известны примеры действительно больших БД на PostgreSQL? Знаю про ebay - 6.5 Pb, но у них Greenpalm. Говорят, в АВИТО ещё большая база. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2015, 17:54 |
|
||
|
Самый большой кластер на PostgreSQL
|
|||
|---|---|---|---|
|
#18+
bff7755a, на миллиарде смартфонов шардятся контакты, смски, фото и т.п. при каких объемах могут начаться проблемы?. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2015, 18:00 |
|
||
|
Самый большой кластер на PostgreSQL
|
|||
|---|---|---|---|
|
#18+
p2.bff7755a, на миллиарде смартфонов шардятся контакты, смски, фото и т.п. при каких объемах могут начаться проблемы?. Я имел в виду размер одного кластера. При этом я понимаю, что много зависит от железа и характера использования данных, но есть же какие-то архитектурные ограничения? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2015, 18:04 |
|
||
|
Самый большой кластер на PostgreSQL
|
|||
|---|---|---|---|
|
#18+
bff7755a, сначала расскажите, что такое кластер. Потому что если шарды вполне независимы друг от друга, то ответ на Ваш вопрос очевиден: ограничений нет. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 12.11.2015, 20:02 |
|
||
|
Самый большой кластер на PostgreSQL
|
|||
|---|---|---|---|
|
#18+
# select pg_size_pretty(pg_database_size ('____')); pg_size_pretty ---------------- 29 TB (1 row) # select pg_size_pretty(pg_database_size ('________')); pg_size_pretty ---------------- 18 TB (1 row) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 13.11.2015, 02:55 |
|
||
|
Самый большой кластер на PostgreSQL
|
|||
|---|---|---|---|
|
#18+
СергейК, чем и как бекапите ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 19.11.2015, 12:26 |
|
||
|
Самый большой кластер на PostgreSQL
|
|||
|---|---|---|---|
|
#18+
djeday84, Одна база у меня обновляется довольно редко, так что я ее бэкаплю раз в месяц (на NFS диск), используя pitrery https://dalibo.github.io/pitrery/. Другая база, которая обновляется регулярно, во-первых, реплицируется (streaming replication), а, во-вторых, раз в неделю делается PITR / pitrery backup. Так как Pitrery умеет сжимать файлы и можно использовать параллельный bzip2, то размер backup'a и время затраченное на него не такое большое (1-2 дня). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 21.11.2015, 20:39 |
|
||
|
|
start [/forum/topic.php?fid=53&msg=39109824&tid=1997619]: |
0ms |
get settings: |
8ms |
get forum list: |
17ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
196ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
64ms |
get tp. blocked users: |
2ms |
| others: | 218ms |
| total: | 528ms |
| 0 / 0 |
