Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
|
01.12.2020, 09:32
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
Привет всем, столкнулся с такой проблемой. Подскажите пожалуйста в какую сторону копать. avtovacuum по табличке работает уже неделю. Самое интересное, табличка только на insert. Никаких апдейтов или удалений в ней никогда не делается. Что с ней делает вакуум не понятно. Табличка большая, вместе с индексами 1.5ТБ. Неделю уже по ней работает avtovacuum: VACUUM table (to prevent wraparound) Заранее спасибо. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 10:08
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
По документации, получается, что автовакуум будет все равно работать по такой таблице, выполняя действия по предотвращению зацикливания номеров транзакций. Интересно конечно отработает ли он когда нибудь и когда стоит бить тревогу по этому поводу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 10:27
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
kliff Что с ней делает вакуум не понятно kliff VACUUM table (to prevent wraparound) Это и делает. Волноваться про подход к границе wraparound и связанного с этим уходом в RO. Если не говорить о EOL релизах - то смотреть в pg_stat_progress_vacuum для оценки прогресса. До pg13 на insert-only таблицах время от времени имеет смысл пускать вакуум вручную, чтобы wraparound autovacuum быстрее проходит. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 10:55
|
|||
|---|---|---|---|
|
|||
avtovacuum to prevent wraparound |
|||
|
#18+
kliff Табличка большая, вместе с индексами 1.5ТБ. Неделю уже по ней работает avtovacuum: VACUUM table (to prevent wraparound) посмотреть в сторону партиционирования. меньше партиции, легче пылесосу. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 12:00
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
Я бы посмотрел в сторону актуальности всех данных в этой таблице. То есть в операционном плане, все ли данные нужны для изменения? Если уже есть история, которая не изменяется, выносите в другую бд, исключительно для анализа или делайте OLAP. "Бабу с воза, кобыле легче". ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 12:02
|
|||
|---|---|---|---|
|
|||
avtovacuum to prevent wraparound |
|||
|
#18+
А разве вакуум не должен обрабатывать только те страницы, которые изменились с прошлого раза. Автор говорит, что в таблицу идут только insert-ы соответственно все кроме вновь прибывших должны быть уже заморожены предыдущими проходами вакуума. Поправьте если я не прав. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 12:40
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
Guzya Автор говорит, что в таблицу идут только insert-ы соответственно все кроме вновь прибывших должны быть уже заморожены предыдущими проходами вакуума. Ну вот он и морозит всё что появилось после прошлого прохода. Который был неизвестно когда, или вообще не было. Все эти 1,5тб вполне могли быть записаны без прихода автовакуума до наступления wraparound. До pg13 в insert-only таблицы автовакуум приходит только для защиты от wraparound. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 13:34
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
Melkij Guzya Автор говорит, что в таблицу идут только insert-ы соответственно все кроме вновь прибывших должны быть уже заморожены предыдущими проходами вакуума. Ну вот он и морозит всё что появилось после прошлого прохода. Который был неизвестно когда, или вообще не было. Все эти 1,5тб вполне могли быть записаны без прихода автовакуума до наступления wraparound. До pg13 в insert-only таблицы автовакуум приходит только для защиты от wraparound. не ткнете пожалуйста в ссыль по этому вопросу в pg13 ? Что то не могу найти, хотелось бы посмотреть. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 13:39
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
Melkij, Да, все данные вполне могли быть записаны до 2млрд транзакций, система не многотранзакционная, не совсем olap, но близко к тому. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 13:47
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
Melkij kliff Что с ней делает вакуум не понятно kliff VACUUM table (to prevent wraparound) Это и делает. Волноваться про подход к границе wraparound и связанного с этим уходом в RO. Если не говорить о EOL релизах - то смотреть в pg_stat_progress_vacuum для оценки прогресса. До pg13 на insert-only таблицах время от времени имеет смысл пускать вакуум вручную, чтобы wraparound autovacuum быстрее проходит. такой вьюхи у меня нет pg_stat_progress_vacuum. Postgresql 9.6 ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
01.12.2020, 16:11
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
kliff Melkij пропущено... Ну вот он и морозит всё что появилось после прошлого прохода. Который был неизвестно когда, или вообще не было. Все эти 1,5тб вполне могли быть записаны без прихода автовакуума до наступления wraparound. До pg13 в insert-only таблицы автовакуум приходит только для защиты от wraparound. не ткнете пожалуйста в ссыль по этому вопросу в pg13 ? Что то не могу найти, хотелось бы посмотреть. https://git.postgresql.org/gitweb/?p=postgresql.git;a=commitdiff;h=b07642dbcd8d5de05f0ee1dbb72dd6760dd30436 autovacuum_vacuum_insert_scale_factor / autovacuum_vacuum_insert_threshold новые настройки kliff такой вьюхи у меня нет pg_stat_progress_vacuum. Postgresql 9.6 Значит у вас: - или не postgresql - или не 9.6, а что-то более древнее. Именно в 9.6 эта view и появилась. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
02.12.2020, 09:49
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
Melkij, Большое спасибо, очень помогли. Да, запутался, серверов много, на этом стоит 9.5. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
02.12.2020, 10:54
|
|||
|---|---|---|---|
avtovacuum to prevent wraparound |
|||
|
#18+
kliff, обновляться. На 9.5 wraparound террабайтных баз всегда долго. В частности вот это Guzya А разве вакуум не должен обрабатывать только те страницы, которые изменились с прошлого раза. Было сделано так же в 9.6, до этого при wraparound посещали каждый блок независимо от visibility map. Ну и настройки автовакуума проверьте. Возможно дефолтные. ... |
|||
|
:
Нравится:
Не нравится:
|
|||
|
|
|
start [/forum/topic.php?fid=53&tablet=1&tid=1994346]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
155ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
43ms |
get tp. blocked users: |
1ms |
| others: | 10ms |
| total: | 245ms |
| 0 / 0 |
