ReSQL.ru
     
powered by simpleCommunicator - 2.0.52     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / avtovacuum to prevent wraparound
14 сообщений из 14, страница 1 из 1
avtovacuum to prevent wraparound
    #40023534
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kliff
Участник
Привет всем, столкнулся с такой проблемой. Подскажите пожалуйста в какую сторону копать.

avtovacuum по табличке работает уже неделю. Самое интересное, табличка только на insert. Никаких апдейтов или удалений в ней никогда не делается. Что с ней делает вакуум не понятно.

Табличка большая, вместе с индексами 1.5ТБ. Неделю уже по ней работает avtovacuum: VACUUM table (to prevent wraparound)

Заранее спасибо.
...
Рейтинг: 0 / 0
01.12.2020, 09:32
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023541
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kliff
Участник
По документации, получается, что автовакуум будет все равно работать по такой таблице, выполняя действия по предотвращению зацикливания номеров транзакций. Интересно конечно отработает ли он когда нибудь и когда стоит бить тревогу по этому поводу.
...
Рейтинг: 0 / 0
01.12.2020, 10:08
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023545
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
kliff
Что с ней делает вакуум не понятно

kliff
VACUUM table (to prevent wraparound)

Это и делает.

Волноваться про подход к границе wraparound и связанного с этим уходом в RO.

Если не говорить о EOL релизах - то смотреть в pg_stat_progress_vacuum для оценки прогресса. До pg13 на insert-only таблицах время от времени имеет смысл пускать вакуум вручную, чтобы wraparound autovacuum быстрее проходит.
...
Рейтинг: 0 / 0
01.12.2020, 10:27
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023553
Lonepsycho
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lonepsycho
Участник
kliff
Табличка большая, вместе с индексами 1.5ТБ. Неделю уже по ней работает avtovacuum: VACUUM table (to prevent wraparound)

посмотреть в сторону партиционирования. меньше партиции, легче пылесосу.
...
Рейтинг: 0 / 0
01.12.2020, 10:55
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023579
MikeR.Ru
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
MikeR.Ru
Участник
Я бы посмотрел в сторону актуальности всех данных в этой таблице. То есть в операционном плане, все ли данные нужны для изменения? Если уже есть история, которая не изменяется, выносите в другую бд, исключительно для анализа или делайте OLAP.
"Бабу с воза, кобыле легче".
...
Рейтинг: 0 / 0
01.12.2020, 12:00
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023582
Guzya
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Guzya
Гость
А разве вакуум не должен обрабатывать только те страницы, которые изменились с прошлого раза.
Автор говорит, что в таблицу идут только insert-ы соответственно все кроме вновь прибывших должны быть уже заморожены предыдущими проходами вакуума.
Поправьте если я не прав.
...
Рейтинг: 0 / 0
01.12.2020, 12:02
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023596
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
Guzya
Автор говорит, что в таблицу идут только insert-ы соответственно все кроме вновь прибывших должны быть уже заморожены предыдущими проходами вакуума.

Ну вот он и морозит всё что появилось после прошлого прохода. Который был неизвестно когда, или вообще не было. Все эти 1,5тб вполне могли быть записаны без прихода автовакуума до наступления wraparound. До pg13 в insert-only таблицы автовакуум приходит только для защиты от wraparound.
...
Рейтинг: 0 / 0
01.12.2020, 12:40
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023619
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kliff
Участник
Melkij
Guzya
Автор говорит, что в таблицу идут только insert-ы соответственно все кроме вновь прибывших должны быть уже заморожены предыдущими проходами вакуума.

Ну вот он и морозит всё что появилось после прошлого прохода. Который был неизвестно когда, или вообще не было. Все эти 1,5тб вполне могли быть записаны без прихода автовакуума до наступления wraparound. До pg13 в insert-only таблицы автовакуум приходит только для защиты от wraparound.


не ткнете пожалуйста в ссыль по этому вопросу в pg13 ? Что то не могу найти, хотелось бы посмотреть.
...
Рейтинг: 0 / 0
01.12.2020, 13:34
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023620
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kliff
Участник
Melkij,

Да, все данные вполне могли быть записаны до 2млрд транзакций, система не многотранзакционная, не совсем olap, но близко к тому.
...
Рейтинг: 0 / 0
01.12.2020, 13:39
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023624
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kliff
Участник
Melkij
kliff
Что с ней делает вакуум не понятно

kliff
VACUUM table (to prevent wraparound)

Это и делает.

Волноваться про подход к границе wraparound и связанного с этим уходом в RO.

Если не говорить о EOL релизах - то смотреть в pg_stat_progress_vacuum для оценки прогресса. До pg13 на insert-only таблицах время от времени имеет смысл пускать вакуум вручную, чтобы wraparound autovacuum быстрее проходит.


такой вьюхи у меня нет pg_stat_progress_vacuum. Postgresql 9.6
...
Рейтинг: 0 / 0
01.12.2020, 13:47
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023682
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
kliff
Melkij
пропущено...

Ну вот он и морозит всё что появилось после прошлого прохода. Который был неизвестно когда, или вообще не было. Все эти 1,5тб вполне могли быть записаны без прихода автовакуума до наступления wraparound. До pg13 в insert-only таблицы автовакуум приходит только для защиты от wraparound.


не ткнете пожалуйста в ссыль по этому вопросу в pg13 ? Что то не могу найти, хотелось бы посмотреть.

https://git.postgresql.org/gitweb/?p=postgresql.git;a=commitdiff;h=b07642dbcd8d5de05f0ee1dbb72dd6760dd30436
autovacuum_vacuum_insert_scale_factor / autovacuum_vacuum_insert_threshold новые настройки

kliff
такой вьюхи у меня нет pg_stat_progress_vacuum. Postgresql 9.6

Значит у вас:
- или не postgresql
- или не 9.6, а что-то более древнее.
Именно в 9.6 эта view и появилась.
...
Рейтинг: 0 / 0
01.12.2020, 16:11
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023845
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kliff
Участник
Melkij,
Большое спасибо, очень помогли. Да, запутался, серверов много, на этом стоит 9.5.
...
Рейтинг: 0 / 0
02.12.2020, 09:49
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023859
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
kliff,

обновляться. На 9.5 wraparound террабайтных баз всегда долго. В частности вот это
Guzya
А разве вакуум не должен обрабатывать только те страницы, которые изменились с прошлого раза.

Было сделано так же в 9.6, до этого при wraparound посещали каждый блок независимо от visibility map.

Ну и настройки автовакуума проверьте. Возможно дефолтные.
...
Рейтинг: 0 / 0
02.12.2020, 10:54
| Ответить | Цитировать | Написать  
avtovacuum to prevent wraparound
    #40023862
kliff
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kliff
Участник
Melkij, да настройки дефолтные
...
Рейтинг: 0 / 0
02.12.2020, 10:56
| Ответить | Цитировать | Написать  
14 сообщений из 14, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / avtovacuum to prevent wraparound
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&fpage=19&tid=1994346]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 42ms
get topic data:
 12ms
get forum data:
 2ms
get page messages:
 63ms
get tp. blocked users:
 2ms
others: 15ms
total:  164ms
созд. / загр.: 164ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]