|
|
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
Поясните за резервирование и переключение подчиненного резервного сервера в рабочий режим. Вот некие руководства предполагают делать вместо pg_ctl -w promote делать еще и рестарт сервера. А зачем они на этом настаивают? Может быть лучше обеспечить ожидание накатывания всех доступных логов на подчиненном и таки не делать рестарт ? Очевидно, это сводит на нет преимущества прогретого сервера, который уже держит набор оперативных данных и рестарт может сильно увеличить время переключения резервного сервера. Хотя я пока не знаю насколько точно, но остальные элементы мой проектируемой инфраструктурки переключаются практически мгновенно. 2. Буду благодарен, если кто-то по-тихому пришлет на почту в профиле "PostgreSQL 9 High Availability Cookbook 2014.pdf". Судя по оглавлению, весьма интересный обзор всех возможных технологий в данной области. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 11:41:59 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwind, ориентируйтесь на официальную документацию. рестарт сервиса ненужен, достаточно "pg_ctl promote". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 12:09:59 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
daevy, как-то не очень аргументированно. так изменения из WAL накатятся прежде чем pg_ctl завершится и вернет управление ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 12:12:18 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
вот тут, например, не понятно чем завершилось обсуждение. какая все же разница между restart и promote в контексте сохранности данных ? http://comments.gmane.org/gmane.comp.db.postgresql.general/163686 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 12:18:56 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwind, Вам нужно чтобы слейв перед promote содержал теже данные что и мастер? В таком случае, сначала тормозните мастера, слейв накатит данные, разорвет соединение с выключившимся мастером, и далее делайте promote. Если мастер упал внезапно, то тут возможны самые разные варианты и прогнозы в зависимости от конфига, нагрузки и лага))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 12:38:58 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwindвот тут, например, не понятно чем завершилось обсуждение. какая все же разница между restart и promote в контексте сохранности данных ? http://comments.gmane.org/gmane.comp.db.postgresql.general/163686 разницы никакой нет, в обоих случаях стендбай будет согласован с мастером (eventually consistent). за исключением случаев когда стендбай гасят через pg_ctl -m immediate stop или kill -9 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 12:42:31 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
daevyЕсли мастер упал внезапно, то тут возможны самые разные варианты и прогнозы в зависимости от конфига, нагрузки и лага))) горячий резерв подразумевает защиту от внештатной ситуации и в частности внезапное зависание мастера. ну так какие именно варианты ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 12:52:56 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwinddaevyЕсли мастер упал внезапно, то тут возможны самые разные варианты и прогнозы в зависимости от конфига, нагрузки и лага))) горячий резерв подразумевает защиту от внештатной ситуации и в частности внезапное зависание мастера. ну так какие именно варианты ? если мастер внезапно отказал, то 1. потеря последних закомиченных транзакции в рамках 3*wal_write_delay (при synchronous_commit = off). если вы поэксперементируете с fsync или full_pages_writes то последствия будут и того печальней. клиент уже получил ответ об успехе. а на мастер умер и на стендбай ничего не приехало. 2. асинхронная репликация. имеем длинный лаг где-нибудь около ~1Gb вызванный "сетевыми проблемами" или высокой "дисковой нагрузкой". тут мастер падает, данные предназначенные к отправке wal_sender'ом никуда не отправляются. в итоге осиротевший стендбай отстает от мастера на величину лага. как вам? :) не читайте "некие руководства", читайте официальную документацию. там это все описано и объяснено куда лучше чем я вам тут пишу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 13:14:22 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwindгорячий резерв горячий резерв не панацея, иначе бы не было скриптов на которые ссылаются здесь ))) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 13:17:54 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
То есть promote моментально переводит сервер в режим и отбрасывает весь скачанный WAL ? daevyне читайте "некие руководства", читайте официальную документацию. там это все описано и объяснено куда лучше чем я вам тут пишу. Ничего там не написано. А читать исходники мне сложно. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 14:57:31 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwindТо есть promote моментально переводит сервер в режим и отбрасывает весь скачанный WAL ? daevyне читайте "некие руководства", читайте официальную документацию. там это все описано и объяснено куда лучше чем я вам тут пишу. Ничего там не написано. А читать исходники мне сложно. скачаный будет проигран безусловно и без вариантов... но это скачаный... которые не обязательно соответствует последнему на мастере (если у вас асинхронная репликация) если в начале корректно остановить мастер - тогда потерь данных не будет если мастер просто умер - то возможна потеря последних транзакций (насколько много зависит от того какая часть wal не скопировалась). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 16:29:39 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
Maxim Boguk скачаный будет проигран безусловно и без вариантов... но это скачаный... которые не обязательно соответствует последнему на мастере (если у вас асинхронная репликация) ну так в какой момент вернется завершится программа pg_ctl promote ? Сразу или подождет пока имеющиеся данные в WAL накатятся? Понятно, что ответ был дал эксперимент, но не могу это смоделировать просто так, потому что нужна еще и нагрузка нормальная. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 16:33:01 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwind, у Вас синхронная репликация или асинхронная? Если синхронная, то неважно, делаете вы promote или restart, если асинхронная, то вы в любом случае можете потерять данные при аварии и неважно, делаете вы promote или restart :-) ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 17:20:19 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
Ёш, Скорее всего, асинхронная, поскольку речи о финансовых данных нет. Тем не менее в документации вопрос не освещен и хотелось бы уже знать точно. Я, например, могу напрячься и написать такой скрипт promote, который сначала подождет не более N секунд для минимизации потерь. а если pg_ctl promote и так ожидает - я могу не напрягаться. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 17:34:17 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwindMaxim Bogukскачаный будет проигран безусловно и без вариантов... но это скачаный... которые не обязательно соответствует последнему на мастере (если у вас асинхронная репликация) ну так в какой момент вернется завершится программа pg_ctl promote ? Сразу или подождет пока имеющиеся данные в WAL накатятся? Понятно, что ответ был дал эксперимент, но не могу это смоделировать просто так, потому что нужна еще и нагрузка нормальная. вот вам эксперимент, ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 17:35:47 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
daevyвот вам эксперимент, все IO операции ставятся в очередь, и исполняются в соответствии с их положением в этой очереди. Я так понимаю, тут для моделирования ситуации на slave было заморожено дисковое устройство, поэтому вообще все изменения на slave встали в очередь. Но ведь в реальности ничто не помешает операциям с базой, которые делает promote выполняться параллельно с wal, обогнать их и отбросить весь тот wal, который скачался ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 17:43:26 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwind, очередь используется всегда, даже когда ио не заморжено и операции исполняются в соответствии с тем как поставлены в очередь. можете взять blktrace и убедиться воочию ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 17:46:28 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
daevy, ну так ведь WAL cначала скачивается и все те операции записаны во внутренней "очереди" в самом WAL. Они не видны для устройства, потому что их туда еще не отсылали. какой именно механизм гарантирует (или не гарантирует), что сначала весь wal прочитается и накатится, а потом уже произойдет promote ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 18:06:44 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwinddaevy, ну так ведь WAL cначала скачивается и все те операции записаны во внутренней "очереди" в самом WAL. Они не видны для устройства, потому что их туда еще не отсылали. какой именно механизм гарантирует (или не гарантирует), что сначала весь wal прочитается и накатится, а потом уже произойдет promote ? за это отвечает wal_receiver, у него есть буффер в который он принимает WAL с мастера и затем синкает его в сегменты в pg_xlog, там уже вызывается fsync и все отдается на откуп ядру и драйверам. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 18:31:46 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
daevynetwind, очередь используется всегда, даже когда ио не заморжено и операции исполняются в соответствии с тем как поставлены в очередь. можете взять blktrace и убедиться воочию тут я совершенно неправ, посыпаю голову пеплом, и извиняюсь что ввел публику в заблуждение )) В пределах хоста операции выполняются в очереди в произвольном порядке (это как раз и повышает скорость работы, т.к. часто бывает так, что в очереди три-четыре записи в один и тот же блок — их просто объединяют в одну), однако, для целостности и транзакционности (метаданные файловых систем, базы данных и т.д.) ОС может в любой момент установить write barrier (все последующие операции могут выполняться только после того, как операции до write barrier выполнятся), либо делать flush, для сохранения всего нафиг. На более низком уровне это контролируется флагами у SAS/SATA команд, write barrier — это абстракция линукса (и его очереди). Но суть такая: в общем случае порядок не определён, но если надо, его можно ограниченно контролировать. netwindНо ведь в реальности ничто не помешает операциям с базой, которые делает promote выполняться параллельно с wal, обогнать их и отбросить весь тот wal, который скачался ? про параллельность и гонки... Несколько очередей для устройства — это очень высокий хайэнд, и в любом случае эти очереди будут для разных инициаторов/хостов (речь про большие SCSI системы или SAN). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 19:20:59 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
Все же вопрос мой был не о том. Как в обсуждаемом случае работает postgres ? ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 20:09:32 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwind, считайте что promote НЕ ждёт, а переключает сразу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 01.10.2014, 23:20:31 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
netwindВсе же вопрос мой был не о том. Как в обсуждаемом случае работает postgres ? будет проигрывать все накопленные/принятые wal файлы что в случае отставания реплики может занять заметное время в тему обсуждения см: http://www.postgresql.org/message-id/flat/CA+U5nM+5__0n-52GM1TSmjfk_3uBpTMBYgOYftEfKTE1RWx_hg@mail.gmail.com]http://www.postgresql.org/message-id/flat/CA U5nM 5__0n-52GM1TSmjfk_3uBpTMBYgOYftEfKTE1RWx_hg@mail.gmail.com как раз недавно обсуждалось добавление promote без проигрывания остатков wal. Я бы на месте разработчиков бы этот функцинал бы не делал (слишком уж удобный метод себе в ногу выстрелить). ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2014, 02:03:36 |
|
||
|
горячий резерв и pg_ctl promote
|
|||
|---|---|---|---|
|
#18+
Maxim Boguk, > бы этот функцинал бы не делал +1 --- это всё очень для хитрый кейзов. типа надо срочно промоутить, а, напирмер, валы на нфс и она вдруг затупила (или может затупить). но тут можно поправить рекавери команду (без правки конфига). короче это всё специальный штуки, нда. но функционал опасный) его надо как-то более обосабливать ... |
|||
|
:
Нравится:
Не нравится:
|
|||
| 02.10.2014, 12:04:27 |
|
||
|
|

start [/forum/topic.php?fid=53&msg=38763940&tid=1998459]: |
0ms |
get settings: |
6ms |
get forum list: |
10ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
188ms |
get topic data: |
7ms |
get forum data: |
2ms |
get page messages: |
40ms |
get tp. blocked users: |
1ms |
| others: | 204ms |
| total: | 462ms |

| 0 / 0 |
