Гость
Войти | Профиль | Очистить
Действия ...
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Автовакуум создает нагрузку на диск / 15 сообщений из 15, страница 1 из 1
22.09.2021, 09:54
    #40099179
IntelMan
IntelMan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
Здравствуйте!

Сборка PG-13 от Postgre для 1С, который создает непонятную нагрузку на диск (время отклика для SSD 1-2 мс.), отключаем автоваккум - нагрузка спадает. Сервер не в продакшен и клиентских соединений нет. Знающие люди, скажите пож-та, есть возможность понять почему на сервере никого нет, а нагрузка есть?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:11
    #40099183
Melkij
Melkij
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
IntelMan,

иии? Вы прочитали, что такое автовакуум, чем занимается, но по-прежнему неясно почему он и предназначен приставать к дискам?
Если действительно на базе нет никакой активности - то автовакуум обработает что нужно и успокоится.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:23
    #40099186
IntelMan
IntelMan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
Melkij
IntelMan,
Если действительно на базе нет никакой активности - то автовакуум обработает что нужно и успокоится.

Прошла неделя после установки, нагрузка не спадает, учитывая, что баз (кроме того, что создает сам PG) на сервере нет.

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
postgres@srv1ce42:~$ psql -l
                                  Список баз данных
    Имя    | Владелец | Кодировка | LC_COLLATE  |  LC_CTYPE   |     Права доступа
-----------+----------+-----------+-------------+-------------+-----------------------
 postgres  | postgres | UTF8      | ru_RU.UTF-8 | ru_RU.UTF-8 |
 template0 | postgres | UTF8      | ru_RU.UTF-8 | ru_RU.UTF-8 | =c/postgres          +
           |          |           |             |             | postgres=CTc/postgres
 template1 | postgres | UTF8      | ru_RU.UTF-8 | ru_RU.UTF-8 | =c/postgres          +
           |          |           |             |             | postgres=CTc/postgres
(3 строки)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:29
    #40099187
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
IntelMan
Melkij
IntelMan,
Если действительно на базе нет никакой активности - то автовакуум обработает что нужно и успокоится.

Прошла неделя после установки, нагрузка не спадает, учитывая, что баз (кроме того, что создает сам PG) на сервере нет.

Код: php
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
postgres@srv1ce42:~$ psql -l
                                  Список баз данных
    Имя    | Владелец | Кодировка | LC_COLLATE  |  LC_CTYPE   |     Права доступа
-----------+----------+-----------+-------------+-------------+-----------------------
 postgres  | postgres | UTF8      | ru_RU.UTF-8 | ru_RU.UTF-8 |
 template0 | postgres | UTF8      | ru_RU.UTF-8 | ru_RU.UTF-8 | =c/postgres          +
           |          |           |             |             | postgres=CTc/postgres
 template1 | postgres | UTF8      | ru_RU.UTF-8 | ru_RU.UTF-8 | =c/postgres          +
           |          |           |             |             | postgres=CTc/postgres
(3 строки)


"Чудеса в решете". Опишите Ваш кейс разработчикам Postgres. Вдруг Вы обнаружили критический бугага баг. Прославитесь.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:31
    #40099188
Guzya
Guzya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
Что дает
Код: sql
1.
select pg_database_size('postgres');
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:35
    #40099189
mefman
mefman
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
Guzya
Что дает
Код: sql
1.
select pg_database_size('postgres');


Сдается мне что это одноце делает инсерт делит одного и того-же триллион раз подряд.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:40
    #40099191
Guzya
Guzya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
mefman
Guzya
Что дает
Код: sql
1.
select pg_database_size('postgres');


Сдается мне что это одноце делает инсерт делит одного и того-же триллион раз подряд.


Тогда лучше вкл. серьезную артиллерию

Код: sql
1.
2.
alter system set log_min_duration_statement to 0;
select pg_reload_conf();



и смотрим, что начало в лог сыпаться.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:42
    #40099193
IntelMan
IntelMan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
Guzya
Что дает
Код: sql
1.
select pg_database_size('postgres');



Код: sql
1.
2.
3.
4.
5.
postgres=# select pg_database_size('postgres');
 pg_database_size
------------------
          8090159
(1 строка)
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:46
    #40099198
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
IntelMan
Здравствуйте!

Сборка PG-13 от Postgre для 1С, который создает непонятную нагрузку на диск (время отклика для SSD 1-2 мс.), отключаем автоваккум - нагрузка спадает. Сервер не в продакшен и клиентских соединений нет. Знающие люди, скажите пож-та, есть возможность понять почему на сервере никого нет, а нагрузка есть?


Что значит создаёт нагрузку? Сколько мегабайт и операций в секунду читает в среднем и в пиках?
Естественно у базы есть фоновые процессы которые будут что то периодически с диском делать но какой то заметной нагрузки (в мегабайтах в секунду) оно на пустой базе создавать не будет.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 10:59
    #40099201
IntelMan
IntelMan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
Код: sql
1.
2.
3.
4.
5.
postgres=# select pg_database_size('postgres');
 pg_database_size
------------------
          8090159
(1 строка)



Код: sql
1.
2.
3.
4.
5.
6.
root@srv1ce42:/var/lib/pgpro/1c-13/data/log# tail -f /var/lib/pgpro/1c-13/data/log/postgresql-2021-09-22_155144.log
2021-09-22 15:51:44.080 +08 [16300] СООБЩЕНИЕ:  запускается PostgreSQL 13.4 on x86_64-pc-linux-gnu, compiled by gcc (Debian 10.2.1-6) 10.2.1 20210110, 64-bit
2021-09-22 15:51:44.080 +08 [16300] СООБЩЕНИЕ:  для приёма подключений по адресу IPv4 "0.0.0.0" открыт порт 5432
2021-09-22 15:51:44.204 +08 [16300] СООБЩЕНИЕ:  для приёма подключений открыт Unix-сокет "/tmp/.s.PGSQL.5432"
2021-09-22 15:51:44.322 +08 [16302] СООБЩЕНИЕ:  система БД была выключена: 2021-09-22 15:51:43 +08
2021-09-22 15:51:44.375 +08 [16300] СООБЩЕНИЕ:  система БД готова принимать подключения



Более ничего нету.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 11:07
    #40099206
IntelMan
IntelMan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
[quot Maxim Boguk#22374483]
IntelMan
Здравствуйте!
Что значит создаёт нагрузку? Сколько мегабайт и операций в секунду читает в среднем и в пиках?
Естественно у базы есть фоновые процессы которые будут что то периодически с диском делать но какой то заметной нагрузки (в мегабайтах в секунду) оно на пустой базе создавать не будет.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru


В среднем, на холостом ходу 48-52 кБ/с. (доп. баз нет), но когда базы начинаем добавлять (только добавлять, но не подключаться к ним), нагрузка возрастает, в среднем, при 3-ех базах, небольших размерах около 10-30Гб до 680кБ/с-750кБ/с. Попробовали переложили базы на другой диск. PG от диска, где лежат базы в скором времени отстал, а вот где ОС отстать никак не может.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 11:23
    #40099212
Guzya
Guzya
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
[quot IntelMan#22374492]
Maxim Boguk
пропущено...


В среднем, на холостом ходу 48-52 кБ/с. (доп. баз нет), но когда базы начинаем добавлять (только добавлять, но не подключаться к ним), нагрузка возрастает, в среднем, при 3-ех базах, небольших размерах около 10-30Гб до 680кБ/с-750кБ/с. Попробовали переложили базы на другой диск. PG от диска, где лежат базы в скором времени отстал, а вот где ОС отстать никак не может.


wal-ы пишутся.
Так у Вас все таки есть базы или нет?
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 11:25
    #40099214
IntelMan
IntelMan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
[quot Guzya#22374500]
IntelMan

пропущено...
wal-ы пишутся.
Так у Вас все таки есть базы или нет?

Рабочие базы все удалили, чтобы понять причину. Сейчас баз нет, кроме стандартных PG.
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 11:40
    #40099216
Maxim Boguk
Maxim Boguk
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
[quot IntelMan#22374492]
Maxim Boguk
пропущено...


В среднем, на холостом ходу 48-52 кБ/с. (доп. баз нет), но когда базы начинаем добавлять (только добавлять, но не подключаться к ним), нагрузка возрастает, в среднем, при 3-ех базах, небольших размерах около 10-30Гб до 680кБ/с-750кБ/с. Попробовали переложили базы на другой диск. PG от диска, где лежат базы в скором времени отстал, а вот где ОС отстать никак не может.


Так разве это нагрузка? Это нормальная фоновая работа которая вообще никому мешать не должна на таких обьёмах.
пишется wal/пишется статистика
т.е. всё нормально, в чём вы проблему то видите?

Я бы всётаки сказал что это от:

https://www.postgresql.org/docs/13/runtime-config-statistics.html#GUC-STATS-TEMP-DIRECTORY
stats_temp_directory (string)
Sets the directory to store temporary statistics data in. This can be a path relative to the data directory or an absolute path. The default is pg_stat_tmp. Pointing this at a RAM-based file system will decrease physical I/O requirements and can lead to improved performance. This parameter can only be set in the postgresql.conf file or on the server command line.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
22.09.2021, 11:54
    #40099223
IntelMan
IntelMan
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Автовакуум создает нагрузку на диск
Maxim Boguk

Так разве это нагрузка? Это нормальная фоновая работа которая вообще никому мешать не должна на таких обьёмах.
пишется wal/пишется статистика
т.е. всё нормально, в чём вы проблему то видите?

В сборке PG от 1С такого нет, но может оно и неправильно сравнивать.

Maxim Boguk

Я бы всётаки сказал что это от:

https://www.postgresql.org/docs/13/runtime-config-statistics.html#GUC-STATS-TEMP-DIRECTORY
stats_temp_directory (string)
Sets the directory to store temporary statistics data in. This can be a path relative to the data directory or an absolute path. The default is pg_stat_tmp. Pointing this at a RAM-based file system will decrease physical I/O requirements and can lead to improved performance. This parameter can only be set in the postgresql.conf file or on the server command line.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru


Вот это попробуем, спасибо!
...
Рейтинг: 0 / 0
| Ответить | Цитировать | Написать  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Автовакуум создает нагрузку на диск / 15 сообщений из 15, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
созд. / загр.: 394ms
Закрыть
start [/forum/topic.php?fid=53&tablet=1&tid=1993854]:
 0ms
get settings:
 8ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 30ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 51ms
get tp. blocked users:
 2ms
others: 265ms
total:  394ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]