ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как определить что work_memory недостаточно?
20 сообщений из 20, страница 1 из 1
Как определить что work_memory недостаточно?
    #39479693
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
Добрый день, как определить что work_memory недостаточно, какие симптомы?
...
Рейтинг: 0 / 0
29.06.2017, 14:27
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39479703
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
work_mem
...
Рейтинг: 0 / 0
29.06.2017, 14:35
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39479719
Alexius
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexius
Участник
acidophilus,

симптомы – сообщения в логах о созданных временных файлах при включенной настройке log_temp_files, сильно растущее значение temp_blks_written/temp_blks_read в pg_stat_statements, либо косвенно большая нагрузка (обычно неравномерная) по записи на диск.
...
Рейтинг: 0 / 0
29.06.2017, 14:54
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480200
ОКТОГЕН
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ОКТОГЕН
Участник
acidophilusДобрый день, как определить что work_memory недостаточно, какие симптомы?
1)Тормоза при выполнении запроса
2)В плане запроса (при EXPLAIN ANALYZE SELECT ...) появляется слово DISC
...
Рейтинг: 0 / 0
30.06.2017, 10:32
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480576
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
Alexiusacidophilus,

симптомы – сообщения в логах о созданных временных файлах при включенной настройке log_temp_files, сильно растущее значение temp_blks_written/temp_blks_read в pg_stat_statements, либо косвенно большая нагрузка (обычно неравномерная) по записи на диск.


Включил.
reload сделал.
в логах ничего не пишется на эту тему.

Подскажите как искусственно создать нехватку work_mem чтобы запись в логе появилась?

cross join вызвал отжирание всей доступной памяти у процесса psql и убийством его ОС (linux)
...
Рейтинг: 0 / 0
30.06.2017, 17:38
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480590
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
select * from t1 order by id;

тоже вы вызывает отжирание около 10Гб psql.




А как сделать чтобы work_mem забилась и в лог начали писаться записи о создании временных файлов?
...
Рейтинг: 0 / 0
30.06.2017, 17:55
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480599
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
acidophilusselect * from t1 order by id;

тоже вы вызывает отжирание около 10Гб psql.




А как сделать чтобы work_mem забилась и в лог начали писаться записи о создании временных файлов?

А у вас точно log_temp_files включен?
Очень сомнительно чтобы select * from t1 order by id; отработал без них.

--
Maxim Boguk
dataegret.ru
...
Рейтинг: 0 / 0
30.06.2017, 18:12
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480604
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
Maxim Bogukacidophilusselect * from t1 order by id;

тоже вы вызывает отжирание около 10Гб psql.




А как сделать чтобы work_mem забилась и в лог начали писаться записи о создании временных файлов?

А у вас точно log_temp_files включен?
Очень сомнительно чтобы select * from t1 order by id; отработал без них.

--
Maxim Boguk
dataegret.ru






Код: sql
1.
2.
3.
4.
5.
postgres=# select name,setting from pg_settings where name LIKE 'log_temp_files';
      name      | setting
----------------+---------
 log_temp_files | 0
(1 row)






И еще, на постртгресе на винде удалось получить сообщение в логе при аналогичном запросе base/pgsql_tmp/pgsql_tmp2988.0
но я там выставил work_mem 64KB.(тестовый сервер) На проме стоит 4МБ и он на линуксе. Никак не получается забить work_mem до ошибки. Память жрет psql десятками гигов,Ю а 4 Мб не забиваются
...
Рейтинг: 0 / 0
30.06.2017, 18:16
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480606
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
acidophilus,

....

Maxim BogukА у вас точно log_temp_files включен ?
...
Рейтинг: 0 / 0
30.06.2017, 18:18
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480607
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
pgsql_tmp пустая на линуксе.
...
Рейтинг: 0 / 0
30.06.2017, 18:19
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480608
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
Melkijacidophilus,

....

Maxim BogukА у вас точно log_temp_files включен ?


я поставил значение 0.

его где-то еще надо включать дополнительно?
...
Рейтинг: 0 / 0
30.06.2017, 18:19
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480610
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
acidophilusMelkijacidophilus,

....

пропущено...



я поставил значение 0.

его где-то еще надо включать дополнительно?

на винде этого было достаточно.


А как на линуксе заставить выйти за пределы work_mem ?
...
Рейтинг: 0 / 0
30.06.2017, 18:26
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480611
Melkij
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Melkij
Участник
acidophilus,

а, блин. Попутал с пачкой булевых настроек. log_min_messages какой?
...
Рейтинг: 0 / 0
30.06.2017, 18:26
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480612
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
Melkijacidophilus,

а, блин. Попутал с пачкой булевых настроек. log_min_messages какой?


Код: sql
1.
warning
...
Рейтинг: 0 / 0
30.06.2017, 18:27
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480615
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
Maxim BogukОчень сомнительно чтобы select * from t1 order by id; отработал без них.



так он не дошел до конца, т.к. psql отъел сеяток гигов пямаяти и был убит ОС.
...
Рейтинг: 0 / 0
30.06.2017, 18:30
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480620
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
acidophilusтак он не дошел до конца, т.к. psql отъел сеяток гигов пямаяти и был убит ОС.
это самый жирный и явный признак того, что память “не так” настроена.
...
Рейтинг: 0 / 0
30.06.2017, 18:38
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480621
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
vyegorovacidophilusтак он не дошел до конца, т.к. psql отъел сеяток гигов пямаяти и был убит ОС.
это самый жирный и явный признак того, что память “не так” настроена.




а как ее оптимально настроить?
...
Рейтинг: 0 / 0
30.06.2017, 18:39
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480622
acidophilus
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
acidophilus
Гость
Короче, запустил запрос с order by id с виндого клиента и файлы tmp создались.
В логе запись появилась.
...
Рейтинг: 0 / 0
30.06.2017, 18:41
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480739
Фотография vyegorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
vyegorov
Участник
acidophilusа как ее оптимально настроить?
ну поищите в интернетах.
Илья Космодемьянский неоднократно доклады делал на тему настройки Linux-а для лучшей производительности
...
Рейтинг: 0 / 0
30.06.2017, 22:17
| Ответить | Цитировать | Написать  
Как определить что work_memory недостаточно?
    #39480779
Alexius
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Alexius
Участник
acidophilus,

так work_mem никак не запрещает psql отъедать память. что вы хотите таким запросом сделать?
запрос select * from t1 order by id может и индекс использовать и work_mem ему в этом случае не нужен.
если вы хотите кучу данных куда-то записать, то нужно их через \copy сразу писать, а не пытаться 10ГБ вывести на экран (psql скорей всего будет пытаться их отформатировать перед выводом, можно попробовать для теста с \a запрос запустить).

Подскажите как искусственно создать нехватку work_mem чтобы запись в логе появилась?
например, так:
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
# explain analyze select id from generate_series(1,1000000) gs(id) order by id;
                                                             QUERY PLAN
-------------------------------------------------------------------------------------------------------------------------------------
 Sort  (cost=59.83..62.33 rows=1000 width=4) (actual time=738.382..857.157 rows=1000000 loops=1)
   Sort Key: id
   Sort Method: external sort  Disk: 13688kB
   ->  Function Scan on generate_series gs  (cost=0.00..10.00 rows=1000 width=4) (actual time=141.378..271.366 rows=1000000 loops=1)
 Planning time: 0.042 ms
 Execution time: 942.866 ms
...
Рейтинг: 0 / 0
01.07.2017, 04:42
| Ответить | Цитировать | Написать  
20 сообщений из 20, страница 1 из 1
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как определить что work_memory недостаточно?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=53&msg=39480610&tid=1996394]:
 0ms
get settings:
 9ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 37ms
get topic data:
 10ms
get forum data:
 3ms
get page messages:
 54ms
get tp. blocked users:
 1ms
others: 17ms
total:  150ms
созд. / загр.: 150ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]