ReSQL.ru
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Очень долгий autovacuum (to prevent wraparound)
25 сообщений из 104, страница 4 из 5
  4  все
Очень долгий autovacuum (to prevent wraparound)
    #39194352
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
vyegorovqwwq,

А поделитесь правильным вариантом этого запроса, который бы работал на версиях начиная с 9.0?
остановитесь
подышите поглубже
подумайте наконец

потом расскажете, если сочтёте нужным, при чем тут версия и прочие обстоятельства

ещё раз -- дико извиняюсь
...
Рейтинг: 0 / 0
17.03.2016, 13:36
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39194413
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
VerusK,

Вы говорите, что всё отрабатывает быстро, ничего необычного нету.
Однако при этом по кругу бегает автовакуум и когда это кончиться не ясно.

Нестыковка.
...
Рейтинг: 0 / 0
17.03.2016, 14:08
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39194417
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
qwwqили квантуйте хотя бы секундами, или пользуйтесь полуоткрытыми интервалами (что предпочтительней).
Да, я понял о чём вы, спасибо.
...
Рейтинг: 0 / 0
17.03.2016, 14:09
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39194423
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
vyegorov,

не за что

этот антипаттерн распространяет 1С. ну так у них время квантованное. А люди привыкают -- и лепят везде и всюду. не думая.
ещё раз извиняюсь
...
Рейтинг: 0 / 0
17.03.2016, 14:15
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195028
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
Немного отсрочил автовакуумы увеличив лимиты. Пытаюсь сделать VACUUM FREEZE вручную, но на любую таблицу получаю такой ответ:
Код: plsql
1.
2.
3.
4.
5.
sql> VACUUM FREEZE leads_y2016_m3
[2016-03-18 07:30:18] oldest xmin is far in the past
[2016-03-18 07:30:18] oldest xmin is far in the past
[2016-03-18 07:30:18] transaction ID wrap limit is 2654342112, limited by database with OID 19489
[2016-03-18 07:30:18] MultiXactId wrap limit is 2147483648, limited by database with OID 19489



и естественно age не меняется и фрозентхид тоже
...
Рейтинг: 0 / 0
18.03.2016, 07:36
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195031
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
Заметили так же, что если делаешь TRUNCATE на таблицу, то сбрасывается age и меняется фрозентхид
...
Рейтинг: 0 / 0
18.03.2016, 07:45
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195047
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
VerusKЗаметили так же, что если делаешь TRUNCATE на таблицу, то сбрасывается age и меняется фрозентхид"на третий день зоркий сокол ..."


у вас, по сути, создаётся новая таблица. естественно её возраст -- 0, и запись об этом появляется в системной таблице пж-класс, в поле "зафройзено_на_момент:"
-- вы ожыдали чего--то другого ?
...
Рейтинг: 0 / 0
18.03.2016, 08:42
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195051
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
VerusK <..1..>

и естественно <2> age не меняется и фрозентхид тожевот это как раз и не естественно

совсем не понял, как вы одно<2> выводите из другого <..1..>.

если при ручном фризе фрозентхид не меняется -- доставайте духовое ружжо, надевайте чистое и стреляйтесь.

только сначала напишите посмертную записку на postgresql.org -- "в моей смерти , " и всё такое.
...
Рейтинг: 0 / 0
18.03.2016, 08:49
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195056
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
qwwq,

при ручном он должен меняться в любом случае при запуске на отдельную таблицу? Я сейчас запустил VACUUM FREEZE на всю БД - это имеет вообще какой-то смысл?
...
Рейтинг: 0 / 0
18.03.2016, 08:55
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195064
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
VerusK,

Имеет.

Я рекомендую остановить экземпляр, закрыть его для подключений и закончить заморозку всех баз , включая postgres и шаблоны.
...
Рейтинг: 0 / 0
18.03.2016, 09:10
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195067
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
vyegorov,

это продакшен база, даунтайм недопустим, есть варианты без остановки?
...
Рейтинг: 0 / 0
18.03.2016, 09:14
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195122
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
VerusKvyegorov,

это продакшен база, даунтайм недопустим, есть варианты без остановки?

вариант без останова -- застрелиться, как честному человеку.

какая у вас версия, я уже забыл.
тут вот пишут:
http://www.postgresql.org/docs/9.4/static/release-9-3-5.html
про E.14.2. Changes (скорее всего не про вас, т.к. про пж--апгрейл, но чем не шутит)
...
Рейтинг: 0 / 0
18.03.2016, 10:32
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195137
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
qwwq,

версия 9.4.5
после фриза на весь инстанс ничего не изменилось
...
Рейтинг: 0 / 0
18.03.2016, 10:47
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195152
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
VerusK,

вам же сказали, что единственно верным будет застрелиться честно остановить боевой сервер, и попытаться его вылечить.

можно растянуть удовольствие --- поднять клон слонами или лондайстом (но не потоковой) -- и попробовать перейти на него с минимальным лагом. но лаг -- будет.

и да, вы уже написали хаасу там [Robert Haas], или какому либо иному гурью по вакууму ? именно по вакууму, а не на деревню дедушке олегу или теодору ?

что вы тут ещё делаете, не совсем понятно.
...
Рейтинг: 0 / 0
18.03.2016, 10:58
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195198
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
VerusK,

У вас симтомы таковы, что фриз не происходит. В результате вы неминуемо приближаетесь к точке, когда база сама встанет, чтобы избежать wraparound'а. И тот факт, что это продукция, ничего не поменяет. Просите окно на самое глухое вермя, на несколько часов, останавливайте и лечите.

Вам нужно собрать детальный анамнез: версия, все настройки, описание железа, данные по базам/таблицам/сессиям/репликам/нагрузке, приложить детальные логи за ту неделю, что всё это тянется.

Писать лучше в pgsql-general, его смотрят практически все и если это баг, то он быстро уйдет в обсуждение в pgsql-hackers. Сейчас готовят новые релизы, так что не томите. Ваш анамнез в виде файлов добавьте (как приложения к письму), не надо простыню из всех конфигов копипастить.

Самые подкованные из разработчиков по вакууму — Альваро Херера (он писал автовакуум) и Том Лейн (он в любом вопросе самый подкованный).
...
Рейтинг: 0 / 0
18.03.2016, 11:42
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195208
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
отписал сразу в хакерс, расписал, постарался как можно подробнее
...
Рейтинг: 0 / 0
18.03.2016, 11:50
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195292
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
VerusKотписал сразу в хакерс, расписал, постарался как можно подробнее
Чёт нету ничего. Письмо точно ушло? И на какой адрес?
...
Рейтинг: 0 / 0
18.03.2016, 12:54
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195307
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
vyegorov,

получил пока такое:
Your message to pgsql-hackers has been delayed, and requires the approval
of the moderators, for the following reason(s):

The author (XXX)
is not a member of any of the restrict_post groups.

If you do not wish the message to be posted, or have other concerns,
please send a message to the list owners at the following address:
pgsql-hackers-owner@postgresql.org
...
Рейтинг: 0 / 0
18.03.2016, 13:06
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195359
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
VerusKотписал сразу в хакерс, расписал, постарался как можно подробнее



торопиться не надо, да
...
Рейтинг: 0 / 0
18.03.2016, 13:51
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195635
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
VerusK,

как ваши успехи ?
если будут новости -- отпишитесь, пожалуйста.
и ссылку киньте

спасибо
...
Рейтинг: 0 / 0
18.03.2016, 17:33
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195913
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
qwwq,

В общем сделали из реплики мастер, сделали на ней вакуум фриз, стопнули мастер, добили недостающие данные в новый мастер, перевели все на него, чиним старый мастер и вернемся обратно. На postgresql.org пока спросили только про длинные транзакции, но их у нас нет и не было.
...
Рейтинг: 0 / 0
19.03.2016, 08:25
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195934
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
VerusK,

www.postgresql.org/message-id/flat/CAM+o-ApLaXFLaieaVx5Dj1RKCx2OaLm5akJ909j8H8FLL5UJMg@mail.gmail.com
...
Рейтинг: 0 / 0
19.03.2016, 09:58
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39195936
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
 
Поправил ссылку
http://www.postgresql.org/message-id/flat/CAM+o-ApLaXFLaieaVx5Dj1RKCx2OaLm5akJ909j8H8FLL5UJMg@mail.gmail.com]на сообщение

Вы бы там продемонстрировали ситуацию:
- проверить age таблицы
- принудительно заморозить
- проверить age ещё раз

Может привлечёт больше внимания.
...
Рейтинг: 0 / 0
19.03.2016, 10:08
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39196011
VerusK
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
VerusK
Гость
vyegorov,

на самом деле произошла какая-то магия, после того как перенесли все данные, отключили реплику, я удалил слоты репликации, очистил pg_xlog(установив новые точки) и завел БД, то почти у всех таблиц возраст сбросился. Затем я сделал ваккум фриз в сингл моде. Теперь выходит ошибка "Missing chunk 0 for toast value in pg_toast" - но как везде пишут, пробую сделать реиндекс этой таблицы и вакуум аналайз.

Кстати по завершении вакуум фриз в сингл мод:
Код: plsql
1.
2.
3.
2016-03-19 10:25:11 UTC   67595 WARNING:  some databases have not been vacuumed in over 2 billion transactions
2016-03-19 10:25:11 UTC   67595 DETAIL:  You might have already suffered transaction-wraparound data loss.
2016-03-19 10:25:11 UTC   67595 STATEMENT:  vacuum (verbose, freeze);


на сколько я понимаю, тут говорится, что мы уже теряли данные. Видимо мы не замечали какие именно.
...
Рейтинг: 0 / 0
19.03.2016, 14:21
| Ответить | Цитировать | Написать  
Очень долгий autovacuum (to prevent wraparound)
    #39196027
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
VerusKqwwq,
<> На postgresql.org пока спросили только про длинные транзакции, но их у нас нет и не было.
естественно проверяют сначала напрашивающееся.
если бы вы сразу отписались что активити пуста, а распределенных тоже уже нет -- возможно спросили бы ещё что--нть.

отпишите им всё

кстати, а как снимали распределённую ? вы же писали, что там (pg_prepared_xacts) у вас что--то висело когда--то.


странно, что на стендбай оно [проблема] не отреплицировалось. где-то тут может сермяга оказаться.
...
Рейтинг: 0 / 0
19.03.2016, 15:15
| Ответить | Цитировать | Написать  
25 сообщений из 104, страница 4 из 5
  4  все
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Очень долгий autovacuum (to prevent wraparound)
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
NoSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=39195064&tid=1997327]:
 0ms
get settings:
 5ms
get forum list:
 15ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 186ms
get topic data:
 10ms
get forum data:
 2ms
get page messages:
 63ms
get tp. blocked users:
 1ms
others: 229ms
total:  517ms
созд. / загр.: 517ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]