Коллеги. Настроил потоковую репликацию. Перестала правильно работать. Происходит потеря записей в таблице. В первом случае починить удалось. Один из файлов был нулевым. Скопировал с боевой - заработало. И вот сейчас опять сломалась. Логи доставляются. Как бы видимых ошибок нет. А за 16 число, то что удалось определить это нет двух записей. Конфликтов нет по ключу. Может настройки параметров не верны? Носитель не битый. Файлы во вложении.

Мастер — 32 ядра 64 Г памяти
Слейв — 24 ядра 32 Г памяти.

ОС debian. Спасибо.

"PostgreSQL 9.3.2 on x86_64-unknown-linux-gnu, compiled by gcc (Debian 4.7.2-5) 4.7.2, 64-bit"

Доброе утро. На мастере делаем pg_start_backup. На слейве БД останавливаем. Копируем файлы с мастера на слейв. Потом на мастере pg_stop_backup. Стартуем слейв. Логи донакатываются с мастера на слейв. А записи не появляются. Более поздние данные доходят. К примеру делаю create database на мастере. Она появляется и на слейве. А также данные в таблицах появляются. Спасибо.

Горячее физическое резервное копирование. БД получается один в один. Копирую по SCP.

select now() - pg_last_xact_replay_timestamp(). Так и есть. Значение меняется. И имеет вид "00:00:07.053331"

Да. 7 сек это приемлемо.

В октябре перешли. с 9.2.4

EXPLAIN select *
from transactions tx
inner join deal_contractor dc on(tx.deal_id = dc.deal_id)
inner join payer pa on(tx.payer_id = pa.id)
left join collations co on(co.tx_id = tx.id)
where
status = 'success' and
dc.contractor_id = 32 and
--co.synced_at_bank is not null and
merchant_additional::json->>'auth_code' = '536408' and
pa.card_masked = trim(trailing overlay('402727......8015' placing '******' from 7 for 6))

QUERY PLAN
Nested Loop Left Join (cost=9.61..78.53 rows=1 width=803)
-> Nested Loop (cost=9.18..70.12 rows=1 width=781)
-> Nested Loop (cost=0.56..57.47 rows=1 width=705)
-> Index Scan using payer_card_masked_idx on payer pa (cost=0.00..8.02 rows=1 width=102)
Index Cond: ((card_masked)::text = '402727******8015'::text)
-> Index Scan using tx_payer_id_status_idx on transactions tx (cost=0.56..49.45 rows=1 width=603)
Index Cond: ((payer_id = pa.id) AND ((status)::text = 'success'::text))
Filter: (((merchant_additional)::json ->> 'auth_code'::text) = '536408'::text)
-> Bitmap Heap Scan on deal_contractor dc (cost=8.62..12.63 rows=1 width=76)
Recheck Cond: ((deal_id = tx.deal_id) AND (contractor_id = 32))
-> BitmapAnd (cost=8.62..8.62 rows=1 width=0)
-> Bitmap Index Scan on deal_contractor_deal_id (cost=0.00..4.03 rows=5 width=0)
Index Cond: (deal_id = tx.deal_id)
-> Bitmap Index Scan on deal_contractor_contractor_id (cost=0.00..4.33 rows=7 width=0)
Index Cond: (contractor_id = 32)
-> Index Scan using collations_pkey on collations co (cost=0.43..8.40 rows=1 width=22)
Index Cond: (tx_id = tx.id)

Всем спасибо. Плюнул на все и поставил repmgr репликацию. Попробую ее. В тесте показывает хорошую работу.

Спасибо Михайлу и всем коллегам. VACUUM с vacuum_freeze_table_age = 0 помогло.

А вообще похоже влияют параметры max_standby_archive_delay и max_standby_streaming_delay. Вернул по умолчанию. Было -1. Проверю.

Опять с репликой чудеса.

Работает
select tx.id
from transactions tx
inner join deal_contractor dc on(tx.deal_id = dc.deal_id)
inner join transaction_revenue tr on (tr.deal_contractor_id = dc.id and tr.transaction_id = tx.id)
where
status = 'success' and
deal_role = 'provider-bank' and
dc.contractor_id = 32 and
merchant_additional::json->>'auth_code' = '009714' and
date(tx.provider_tx_datetime) = '2014-02-27'

А
select tx.id
from transactions tx
inner join deal_contractor dc on(tx.deal_id = dc.deal_id)
inner join transaction_revenue tr on (tr.deal_contractor_id = dc.id and tr.transaction_id = tx.id)
where
status = 'success' and
deal_role = 'provider-bank' and
dc.contractor_id = 32 and
merchant_additional::json->>'auth_code' = '009714' and
date(tr.provider_tx_datetime) = '2014-02-27'

Нет.

На мастере все нормально отрабатывает.

На мастере

29723;10;"postgres";"walreceiver";"192.168.100.11";"";54436;"2014-03-03 20:08:57.267225+04";"streaming";"291/ADB00128";"291/ADB00128";"291/ADB00128";"291/ADB00070";0;"async"

А на слейве ничего.

На слейве

"Nested Loop (cost=6277.68..8159.49 rows=1 width=4) (actual time=65.403..65.403 rows=0 loops=1)"
" Join Filter: (dc.deal_id = tx.deal_id)"
" -> Nested Loop (cost=6277.24..7737.84 rows=95 width=8) (actual time=65.403..65.403 rows=0 loops=1)"
" -> Bitmap Heap Scan on deal_contractor dc (cost=2.30..12.28 rows=1 width=8) (actual time=0.011..0.018 rows=2 loops=1)"
" Recheck Cond: (contractor_id = 32)"
" Filter: ((deal_role)::text = 'provider-bank'::text)"
" Rows Removed by Filter: 2"
" -> Bitmap Index Scan on deal_contractor_contractor_id (cost=0.00..2.30 rows=6 width=0) (actual time=0.005..0.005 rows=4 loops=1)"
" Index Cond: (contractor_id = 32)"
" -> Bitmap Heap Scan on transaction_revenue tr (cost=6274.94..7724.83 rows=735 width=8) (actual time=32.687..32.687 rows=0 loops=2)"
" Recheck Cond: ((deal_contractor_id = dc.id) AND (date(provider_tx_datetime) = '2014-02-27'::date))"
" -> BitmapAnd (cost=6274.94..6274.94 rows=735 width=0) (actual time=32.633..32.633 rows=0 loops=2)"
" -> Bitmap Index Scan on tr_dc_idx (cost=0.00..2329.34 rows=71781 width=0) (actual time=8.697..8.697 rows=60446 loops=2)"
" Index Cond: (deal_contractor_id = dc.id)"
" -> Bitmap Index Scan on tr_prv_dt_t_id (cost=0.00..3878.50 rows=266646 width=0) (actual time=18.520..18.520 rows=286212 loops=2)"
" Index Cond: (date(provider_tx_datetime) = '2014-02-27'::date)"
" -> Index Scan using tx_idx on transactions tx (cost=0.44..4.43 rows=1 width=8) (never executed)"
" Index Cond: (id = tr.transaction_id)"
" Filter: (((status)::text = 'success'::text) AND (((merchant_additional)::json ->> 'auth_code'::text) = '009714'::text))"
"Total runtime: 65.456 ms"


На мастере

"Nested Loop (cost=6277.68..8159.49 rows=1 width=4) (actual time=175.890..349.431 rows=1 loops=1)"
" Join Filter: (dc.deal_id = tx.deal_id)"
" -> Nested Loop (cost=6277.24..7737.84 rows=95 width=8) (actual time=158.652..257.113 rows=4007 loops=1)"
" -> Bitmap Heap Scan on deal_contractor dc (cost=2.30..12.28 rows=1 width=8) (actual time=0.081..0.087 rows=2 loops=1)"
" Recheck Cond: (contractor_id = 32)"
" Filter: ((deal_role)::text = 'provider-bank'::text)"
" Rows Removed by Filter: 2"
" -> Bitmap Index Scan on deal_contractor_contractor_id (cost=0.00..2.30 rows=6 width=0) (actual time=0.066..0.066 rows=4 loops=1)"
" Index Cond: (contractor_id = 32)"
" -> Bitmap Heap Scan on transaction_revenue tr (cost=6274.94..7724.83 rows=735 width=8) (actual time=118.913..127.679 rows=2004 loops=2)"
" Recheck Cond: ((deal_contractor_id = dc.id) AND (date(provider_tx_datetime) = '2014-02-27'::date))"
" -> BitmapAnd (cost=6274.94..6274.94 rows=735 width=0) (actual time=118.098..118.098 rows=0 loops=2)"
" -> Bitmap Index Scan on tr_dc_idx (cost=0.00..2329.34 rows=71781 width=0) (actual time=36.874..36.874 rows=73422 loops=2)"
" Index Cond: (deal_contractor_id = dc.id)"
" -> Bitmap Index Scan on tr_prv_dt_t_id (cost=0.00..3878.50 rows=266646 width=0) (actual time=59.815..59.815 rows=286212 loops=2)"
" Index Cond: (date(provider_tx_datetime) = '2014-02-27'::date)"
" -> Index Scan using tx_idx on transactions tx (cost=0.44..4.43 rows=1 width=8) (actual time=0.022..0.022 rows=0 loops=4007)"
" Index Cond: (id = tr.transaction_id)"
" Filter: (((status)::text = 'success'::text) AND (((merchant_additional)::json ->> 'auth_code'::text) = '009714'::text))"
" Rows Removed by Filter: 1"
"Total runtime: 349.558 ms"

0 58567856

Пересоздал. Пока запросы работают правильно. Наблюдаю. Спасибо.

laanetПересоздал. Пока запросы работают правильно. Наблюдаю. Спасибо.

Опять интересно.
Делаю на мастере

select * from transactions where id in (51134118,51149871,51166878,51179828,51200926,51202296,51207871,51227088,51227544,51256647,51257732,51260336,51275742)

все хорошо. На слейве пусто.

Делаю на мастере

update transactions set updated_at=updated_at where id in (51134118, 51149871,51166878,51179828,51200926,51202296,51207871,51227088,51227544,51256647,51257732,51260336,51275742)

На слейве тут же появляются записи. При этом до апдейта новые базы и таблицы появляются на слейве.

Maxim Boguklaanetпропущено...


Опять интересно.
Делаю на мастере

select * from transactions where id in (51134118,51149871,51166878,51179828,51200926,51202296,51207871,51227088,51227544,51256647,51257732,51260336,51275742)

все хорошо. На слейве пусто.

Делаю на мастере

update transactions set updated_at=updated_at where id in (51134118, 51149871,51166878,51179828,51200926,51202296,51207871,51227088,51227544,51256647,51257732,51260336,51275742)

На слейве тут же появляются записи. При этом до апдейта новые базы и таблицы появляются на слейве.

кроме предложения воспроизвести проблему на какой то отдельной таблице специально сделанной
т.е. сделать test case
и его прислать - я вам тут ничего посоветовать не могу...
будет test case - посмотрю что и как и если сам не разберусь напишу разработчикам...

А как его сделать? Ведь закономерности нет. Делаю таблицу. Вставляю в нее. Все хорошо.