ReSQL.ru
     
powered by simpleCommunicator - 2.0.53     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как ограничить кэширование файлов postgres? (виндоус)
33 сообщений из 33, показаны все 2 страниц
  все  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512307
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Добрый день.

Смотрю в RamMap - 80% используемой памяти - Mapped Files. (файлы БД)

И 99.9% памяти занято (доступно около 50 мб)



Можно ли как-нибудь ограничить кэширование файлов постреса?
...
Рейтинг: 0 / 0
29.08.2017, 16:03
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512309
Lonepsycho
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lonepsycho
Участник
ппамять,

если правильно понял, и вы смотрите на систем кеш, тогда вопрос - зачем ограничивать?
...
Рейтинг: 0 / 0
29.08.2017, 16:07
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512311
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Lonepsychoппамять,

если правильно понял, и вы смотрите на систем кеш, тогда вопрос - зачем ограничивать?


Смотрю RamMap - Mapped Files.


Ограничивать т.к. сервер перестает подавать признаки жизни, когда у него мало доступной памяти.

Поставить, например, кэшировать не более 50% от всей памяти.
...
Рейтинг: 0 / 0
29.08.2017, 16:10
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512327
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Может быть у самого постргеса еть параметры, которые ограничивают кэширование файлов?
...
Рейтинг: 0 / 0
29.08.2017, 16:33
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512373
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
ппамятьМожет быть у самого постргеса еть параметры, которые ограничивают кэширование файлов?

Ну ли вообще отключить кэширование на уровне ОС и сделать шаред_буфер большой. Такой вариант реальный?
...
Рейтинг: 0 / 0
29.08.2017, 17:35
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512428
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
ппамятьппамятьМожет быть у самого постргеса еть параметры, которые ограничивают кэширование файлов?

Ну ли вообще отключить кэширование на уровне ОС и сделать шаред_буфер большой. Такой вариант реальный?

Так это вопрос к вам как к виндовому админу. Кеширует ОС вот с ней и разбираться.
...
Рейтинг: 0 / 0
29.08.2017, 19:26
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512431
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
это не кэш
...
Рейтинг: 0 / 0
29.08.2017, 19:52
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512607
Lonepsycho
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lonepsycho
Участник
ппамять,

а если не RamMap, а Performance Monitor что показывает? и да, что за железо у вас?
...
Рейтинг: 0 / 0
30.08.2017, 09:51
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512647
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Siemarglэто не кэш

а что?
...
Рейтинг: 0 / 0
30.08.2017, 10:58
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512648
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Lonepsychoппамять,

а если не RamMap, а Performance Monitor что показывает? и да, что за железо у вас?

Что конкретно смотреть в Perfomance monitor-е ?

По памяти процессов он показывает так же как и диспетчер задачь.
...
Рейтинг: 0 / 0
30.08.2017, 10:59
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512709
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Кто является инициатором загрузки файлы в ОЗУ, приложение или ОС?
...
Рейтинг: 0 / 0
30.08.2017, 12:19
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512714
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
ппамятьКто является инициатором загрузки файлы в ОЗУ, приложение или ОС?

Постгрес где-то может ограничивать ил иинициировать загрузку файлов БД в ОЗУ? (не шаред буфером)
...
Рейтинг: 0 / 0
30.08.2017, 12:22
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512787
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Maxim Bogukппамятьпропущено...


Ну ли вообще отключить кэширование на уровне ОС и сделать шаред_буфер большой. Такой вариант реальный?

Так это вопрос к вам как к виндовому админу. Кеширует ОС вот с ней и разбираться.


Maxim, а точно постгре никак не может ограничивать это кэширование?
...
Рейтинг: 0 / 0
30.08.2017, 13:38
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512829
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
ппамятьMaxim Bogukпропущено...


Так это вопрос к вам как к виндовому админу. Кеширует ОС вот с ней и разбираться.


Maxim, а точно постгре никак не может ограничивать это кэширование?

Нет. Это вообще не задача базы. И это никак не управляется со стороны приложения в принципе.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
30.08.2017, 14:24
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512940
Lonepsycho
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Lonepsycho
Участник
ппамятьLonepsychoппамять,

а если не RamMap, а Performance Monitor что показывает? и да, что за железо у вас?

Что конкретно смотреть в Perfomance monitor-е ?

По памяти процессов он показывает так же как и диспетчер задачь.

интересует железо, размер базы, и когда начинаются тормоза, во что всё упирается (диск, процесор...)? подозреваю, что вы упёрлись в потолок того на что способно ваше железо, и пытаетесь бороться не с болезнью а симптомом.
...
Рейтинг: 0 / 0
30.08.2017, 17:02
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512952
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Lonepsychoппамятьпропущено...


Что конкретно смотреть в Perfomance monitor-е ?

По памяти процессов он показывает так же как и диспетчер задачь.

интересует железо, размер базы, и когда начинаются тормоза, во что всё упирается (диск, процесор...)? подозреваю, что вы упёрлись в потолок того на что способно ваше железо, и пытаетесь бороться не с болезнью а симптомом.

БД 300Гб.
железо 16 ядер, 16 Гб ОЗУ.
На диски нагрузка маленькая.

Проблемы начинаются через 2-3 часа после рестарта постгрес, когда свободной памяти остается менее 100 Мб.
...
Рейтинг: 0 / 0
30.08.2017, 17:25
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512954
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Lonepsychoво что всё упирается (диск, процесор...)?

диск и проц не загружены.

упиратеся в память.
...
Рейтинг: 0 / 0
30.08.2017, 17:25
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512961
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
ппамятьПроблемы начинаются через 2-3 часа после рестарта постгрес, когда свободной памяти остается менее 100 Мб.
ппамять(виндоус)
Продолжайте кушать этот кактус ))
...
Рейтинг: 0 / 0
30.08.2017, 17:40
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512965
daevy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
daevy
Гость
ппамять,

покажите настройки postgresql.conf чтоли, в частности shared_buffers, work_mem, maintenance_work_mem, temp_buffers, wal_buffers
...
Рейтинг: 0 / 0
30.08.2017, 17:48
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39512973
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
daevyппамять,

покажите настройки postgresql.conf чтоли, в частности shared_buffers, work_mem, maintenance_work_mem, temp_buffers, wal_buffers

и max_connections конечно.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
30.08.2017, 18:09
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513044
Siemargl
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Siemargl
Участник
mefmanппамятьПроблемы начинаются через 2-3 часа после рестарта постгрес, когда свободной памяти остается менее 100 Мб.
ппамять(виндоус)
Продолжайте кушать этот кактус ))Это про Постгрес чтоле?

Кстати, а есть ли в никсах настройки кэширования ммапнутных файлов, в т.ч шаред бинарников?
...
Рейтинг: 0 / 0
30.08.2017, 21:53
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513080
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
Siemarglmefmanпропущено...

пропущено...

Продолжайте кушать этот кактус ))Это про Постгрес чтоле?

нет - про постгрес и
ппамять(виндоус)
...
Рейтинг: 0 / 0
31.08.2017, 00:06
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513244
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
daevyппамять,

покажите настройки postgresql.conf чтоли, в частности shared_buffers, work_mem, maintenance_work_mem, temp_buffers, wal_buffers


Код: sql
1.
2.
3.
4.
shared_buffers = 512MB	
work_mem = 16MB	
#maintenance_work_mem = 16MB
#temp_buffers = 8MB
...
Рейтинг: 0 / 0
31.08.2017, 11:03
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513246
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Maxim Bogukdaevyппамять,

покажите настройки postgresql.conf чтоли, в частности shared_buffers, work_mem, maintenance_work_mem, temp_buffers, wal_buffers

и max_connections конечно.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

max_connections = 195
...
Рейтинг: 0 / 0
31.08.2017, 11:03
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513389
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
ппамятьMaxim Bogukпропущено...


и max_connections конечно.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru

max_connections = 195

В 16Gb должно влезать. У вас на этих 16Gb ТОЛЬКО postgres живет или еще что то?
Какого рода проблемы начинаются то? Вы бы описали их?
Windows я надеюсь Windows Server относительно свежий (а не персоналочная редакция)?

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
31.08.2017, 13:02
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513413
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
Maxim Bogukппамятьпропущено...


max_connections = 195

В 16Gb должно влезать. У вас на этих 16Gb ТОЛЬКО postgres живет или еще что то?
Какого рода проблемы начинаются то? Вы бы описали их?
Windows я надеюсь Windows Server относительно свежий (а не персоналочная редакция)?

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru


Да влазиет конечно постгрес в память.

Всю доступнуб память выжирает кэширование файлов.


ПРоблемы в том что сервер медленно работает, например, чтобы через rdp к нему подключится приходится ждать 20 минут.



Вопрос в том, как сделать чтобы при кэшировании виндоус оставлял свободной памяти не 100Мб, а, например, 1000.
...
Рейтинг: 0 / 0
31.08.2017, 13:21
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513415
ппамять
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ппамять
Участник
ОС серверная
...
Рейтинг: 0 / 0
31.08.2017, 13:22
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513424
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Maxim BogukНет. Это вообще не задача базы. И это никак не управляется со стороны приложения в принципе.
MS другого мнения: https://docs.microsoft.com/en-us/windows-server/administration/performance-tuning/subsystem/cache-memory-management/troubleshoot
https://support.microsoft.com/en-us/help/2549369/performance-degrades-when-accessing-large-files-with-file-flag-random
И оно таки даёт возможность приложениям управлять кэшированием открываемых файлов в своём API.
...
Рейтинг: 0 / 0
31.08.2017, 13:28
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513430
Фотография Maxim Boguk
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Maxim Boguk
Участник
ппамятьMaxim Bogukпропущено...


В 16Gb должно влезать. У вас на этих 16Gb ТОЛЬКО postgres живет или еще что то?
Какого рода проблемы начинаются то? Вы бы описали их?
Windows я надеюсь Windows Server относительно свежий (а не персоналочная редакция)?

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru


Да влазиет конечно постгрес в память.

Всю доступнуб память выжирает кэширование файлов.


ПРоблемы в том что сервер медленно работает, например, чтобы через rdp к нему подключится приходится ждать 20 минут.



Вопрос в том, как сделать чтобы при кэшировании виндоус оставлял свободной памяти не 100Мб, а, например, 1000.

Кеш это для OS свободная память котрая освобождается по потребностям. На любом нагруженном сервере не будет свободной памяти и будет куча кеша. При этом у всех все работает.
Вы куда то не туда смотрите.
Или возьмите наконец нормального виндового админа в штат.
Я бы предположил что у вас или перегрузка по диску или перегрузка по сети получается. Но может у винды еще какие то свои приколы есть.

--
Maxim Boguk
лучшая поддержка PostgreSQL: dataegret.ru
...
Рейтинг: 0 / 0
31.08.2017, 13:32
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39513468
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
http://winitpro.ru/index.php/2016/03/21/vysokaya-zagruzka-ram-metafaylom-na-fajlovom-servere-windows/

оттуда видимо сюда
Dynamic Cache Service ( http://www.microsoft.com/en-us/download/details.aspx?id=9258).

///вопросы по венде в другом форуме
...
Рейтинг: 0 / 0
31.08.2017, 14:29
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39514075
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
qwwqвопросы по венде в другом форуме
Там он уже спрашивал, но читать ссылки и следовать инструкциям не хочет.
...
Рейтинг: 0 / 0
01.09.2017, 13:28
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39514160
qwwq
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
qwwq
Участник
Dimitry Sibiryakov,

тогда

Код: plaintext
$ sudo sysctl -w vm.drop_caches=3
...
Рейтинг: 0 / 0
01.09.2017, 15:24
| Ответить | Цитировать | Написать  
Как ограничить кэширование файлов postgres? (виндоус)
    #39514709
Фотография mefman
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
mefman
Участник
qwwqDimitry Sibiryakov,

тогда

Код: plaintext
$ sudo sysctl -w vm.drop_caches=3

тролль 80 уровня
...
Рейтинг: 0 / 0
03.09.2017, 15:19
| Ответить | Цитировать | Написать  
33 сообщений из 33, показаны все 2 страниц
  все  
Форумы / PostgreSQL [игнор отключен] [закрыт для гостей] / Как ограничить кэширование файлов postgres? (виндоус)
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?all=1&fid=53&tid=1996247]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 36ms
get topic data:
 12ms
get forum data:
 3ms
get page messages:
 62ms
get tp. blocked users:
 2ms
others: 15ms
total:  162ms
созд. / загр.: 162ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]