Гость
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как часто вы обновляете статистику на сервере? / 9 сообщений из 9, страница 1 из 1
21.06.2018, 15:33
    #39663675
Уткъ
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
Добрый день.


Два вопроса по теме:


1) Как vacuum analize понимает что пора запускаться? На основе каких данных?

Стоит, к примеру, 0.01 в конфиге, но ведь до него кто-то тоже статистику обновить должен чтобы он сработал...




2) Как часто вы запускаете у тебя ANALIZE (без вакуума) на промышленных БД?
...
Рейтинг: 0 / 0
21.06.2018, 15:47
    #39663682
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
Уткъ,

Statistics Collector собирает циферки, в том числе changes_since_analyze, autovacuum смотрит в эти циферки и решает, надо ли делать analyze или vacuum или и то и другое.

2) обычно начинаем с autovacuum_analyze_scale_factor = 0.05, затем по обстоятельствам
...
Рейтинг: 0 / 0
21.06.2018, 15:47
    #39663683
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
УткъДобрый день.


Два вопроса по теме:


1) Как vacuum analize понимает что пора запускаться? На основе каких данных?

Стоит, к примеру, 0.01 в конфиге, но ведь до него кто-то тоже статистику обновить должен чтобы он сработал...




2) Как часто вы запускаете у тебя ANALIZE (без вакуума) на промышленных БД?

1)Статистика для запуска autoanalyze автоматически собирается.
2)Обычно только после создания нового индекса (это может быть полезно) да и то не всегда. В остальных случаях хватает autovacuum.

--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
21.06.2018, 16:00
    #39663692
Уткъ
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
Maxim Boguk ,

MelkijУткъ,

Statistics Collector собирает циферки, в том числе changes_since_analyze, autovacuum смотрит в эти циферки и решает, надо ли делать analyze или vacuum или и то и другое.

2) обычно начинаем с autovacuum_analyze_scale_factor = 0.05, затем по обстоятельствам


т.е. получается что autovacuum analyze ориентируется на это:

n_mod_since_analyze bigint Оценочное число строк, изменённых в этой таблице, с момента последнего сбора статистики

а поле это заполняет сборщик статистики.



Сегодня возникла ситуация со слетевшим планом, который исправился после ручного ANALYZE таблицки. Это и послужило поводом для топика.

Неужели, на проме дополнительно к автовакуум анализе вы ANALYZE не запускаете совсем? (кроме сразу после создания нового индекса по этому индексу)
...
Рейтинг: 0 / 0
21.06.2018, 16:12
    #39663695
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
УткъMaxim Boguk ,

MelkijУткъ,

Statistics Collector собирает циферки, в том числе changes_since_analyze, autovacuum смотрит в эти циферки и решает, надо ли делать analyze или vacuum или и то и другое.

2) обычно начинаем с autovacuum_analyze_scale_factor = 0.05, затем по обстоятельствам


т.е. получается что autovacuum analyze ориентируется на это:

n_mod_since_analyze bigint Оценочное число строк, изменённых в этой таблице, с момента последнего сбора статистики

а поле это заполняет сборщик статистики.



Сегодня возникла ситуация со слетевшим планом, который исправился после ручного ANALYZE таблицки. Это и послужило поводом для топика.

Неужели, на проме дополнительно к автовакуум анализе вы ANALYZE не запускаете совсем? (кроме сразу после создания нового индекса по этому индексу)

А зачем? Analyze изрядно тяжелая процедура которая в общем не требует ручного запуска.
План после Analyze может как исправится так и сломаться (т.е. у вас план скорее всего сломался после autoanalyze) такое тоже бывает. Но тут скорее надо смотреть на то что там не так было со статистикой (может более агрессивный analyze для этой таблицы настраивать, может n_distinct руками прописать, может default_statistics_target поднять для какого то поля).
Надо еще и посмотреть насколько часто анализировалась эта таблица в реальности автоматически.
Может там профиль записи в таблицу странный.
Нельзя дать общий ответ тут конкретную ситуацию разбирать надо с деталями.

Если вы думаете поставить в крон analyze ручной - это путь в никуда если вы не разберетесь в чем причина с планами.

--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
21.06.2018, 16:28
    #39663711
Уткъ
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
Maxim BogukУткъMaxim Boguk ,

пропущено...



т.е. получается что autovacuum analyze ориентируется на это:

n_mod_since_analyze bigint Оценочное число строк, изменённых в этой таблице, с момента последнего сбора статистики

а поле это заполняет сборщик статистики.



Сегодня возникла ситуация со слетевшим планом, который исправился после ручного ANALYZE таблицки. Это и послужило поводом для топика.

Неужели, на проме дополнительно к автовакуум анализе вы ANALYZE не запускаете совсем? (кроме сразу после создания нового индекса по этому индексу)

А зачем? Analyze изрядно тяжелая процедура которая в общем не требует ручного запуска.
План после Analyze может как исправится так и сломаться (т.е. у вас план скорее всего сломался после autoanalyze) такое тоже бывает. Но тут скорее надо смотреть на то что там не так было со статистикой (может более агрессивный analyze для этой таблицы настраивать, может n_distinct руками прописать, может default_statistics_target поднять для какого то поля).
Надо еще и посмотреть насколько часто анализировалась эта таблица в реальности автоматически.
Может там профиль записи в таблицу странный.
Нельзя дать общий ответ тут конкретную ситуацию разбирать надо с деталями.

Если вы думаете поставить в крон analyze ручной - это путь в никуда если вы не разберетесь в чем причина с планами.

--
Maxim Boguk
dataegret.ru


По этой табличке во такая картина сейчас, как думаете, стоит ли ее дополнительно ANALYSE-ить?
...
Рейтинг: 0 / 0
21.06.2018, 16:32
    #39663716
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
Уткъ,

Вы еще больше картинок вместо текста по вставляйте.
Скорее всего исходя из размера таблицы и количества измененных строк - нет не надо.

--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
21.06.2018, 22:08
    #39663818
qwwq
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
Maxim Boguk,
после рекавери мод -- срочно сделать анализ основных
иначе планы уйдут вдаль
нет ?
...
Рейтинг: 0 / 0
21.06.2018, 22:40
    #39663831
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Как часто вы обновляете статистику на сервере?
qwwqMaxim Boguk,
после рекавери мод -- срочно сделать анализ основных
иначе планы уйдут вдаль
нет ?

Нет... статистика уровня n_distinct и гистограмм она такая же устойчивая как и сама база.
А это то что надо планировщику.
И при крешах она не теряется.

--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как часто вы обновляете статистику на сервере? / 9 сообщений из 9, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]