|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Добрый день! До недавнего времени на сервере бд postgresql-9.3 была такая конфигурация: CPU-Intel(R) Xeon(R) E5504 @ 2.00GHz, DDR 64Gb, ОС debian 7. Заменили на CPU- Intel(R) Xeon(R) X5650 @ 2.67GHz, DDR 98Gb, ос debian7. Дисковая подсистема осталась примерно на том же уровне. В основном тест проходил на проекте, где большое количество селектов к таблицам по (10-15гб в среднем). После замены не почувствовали прирост производительности. Увеличил размер shared_buffers с 10Gb до 30Gb. Но опять ничего не почувствовали. htop показывает, что занято всего 2-3Гб из 98... Проверил след параметры системы: cat /proc/sys/kernel/shmall 18446744073692774399 cat /proc/sys/kernel/shmmax 18446744073692774399 Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66.
Подскажите пожалуйста, почему такое происходит, почему такое потребление памяти? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2015, 15:36 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2, Вы рестартовали pg после увеличения shared_buf? Дисковая система какая у вас? Подозрение на sata диски... ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2015, 15:40 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2, Так сервер меняют только в самом конце оптимизации когда все остальные возможности исчерпаны. Оптимизация начинается с анализа какие запросы занимают больше всего ресурсов и каких (CPU или Диски). Потом пробуют вылечить эти запросы (индексами или переписыванием самих запросов), потом смотрят на конфиг базы на предмет тонкого тюнинга. И только после этого точно понимая в чем проблема и что ее не получается исправить другими мерами - смотрят на новое железо (точно понимая что от него надо с т.з. производительности дисков и CPU). А по вашему описанию вы ничего этого не сделали и где узкое место не очень понимаете. -- Maxim Boguk www.postgresql-consulting.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2015, 15:43 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
tadmin, да грузил конечно, программный рэид из 2-х sata дисков (черные wd). ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2015, 15:47 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Maxim Boguk, у нас попросту не было времени, пришлось рубить сплеча... ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2015, 15:49 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Не понятно почему такое потребление памяти идёт, всего 2гб из 98... ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2015, 15:54 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2Не понятно почему такое потребление памяти идёт, всего 2гб из 98... А какой размер базы у вас? Что говорит show shared_buffers; в базе? Чем вы потребление памяти смотрите (и какое именно поле)? -- Maxim Boguk www.postgresql-consulting.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
15.10.2015, 16:19 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Maxim Boguk, 1. размер базы 209Gb 2. show shared_buffers = 30Gb 3. потребление памяти смотрю системными утилитами (free, htop) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2015, 08:22 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2Maxim Boguk, у нас попросту не было времени, пришлось рубить сплеча...кхм. плечевые детектид авторпоменялась конфигурация сервера, но прироста производительности не получилтак это же замечательно -- вас попрут, наймут вменяемого спеца. одним плечевым меньше -- уже хлеб. PS хинт: где перечень типовых запросов, в которых "не получили прироста производительности" , ddl участвующих в них табличек, планы, анализ очередей на разделяемые ресурсы, вот это вот всё ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2015, 10:15 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2Добрый день! .... Дисковая подсистема осталась примерно на том же уровне. .... не почувствовали прирост производительности. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2015, 10:24 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
qwwq, Спасибо за информацию. Идея с заменой сервера была не моя, я хотел разобраться во всем последовательно, посмотреть explain запросов и т.д.. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2015, 11:00 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2, Я бы на вашем месте хотябы поменял диски на SAS, у нас в свое время тоже были проблемы, при переходе с SATA WD на SAS Seagate 15 000 rpm стало намного все быстрее ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2015, 16:58 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
westvovikgk2, ... поменял диски на SAS похоже вопрос в том, почему ddr простаивает.. может я и не прав, но мне кажестя если запросы одни и те же данные будут запрашивать (все, что нужно в кеш запишеться), получиться именно такая ситуация. может там что-то с запросами не то? а если получится, что это так, то понятно почему нет повышения производительности - оно должн обыло быть за счет увеличения рама, но это ничего не дает, потмоу что данные и на старом железе шли уже из рама. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.10.2015, 17:08 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2qwwq, Спасибо за информацию. Идея с заменой сервера была не моя, я хотел разобраться во всем последовательно, посмотреть explain запросов и т.д.. В общем для начала посмотреть на загрузку дисковой подсистемы. А использование памяти скорее всего вы неправильно расшифровываете выводы используемых утилит :). PS: на нагруженных серьезных базах дисковая подсистема по цене составляет 60-80% стоимости сервера и про это не стоит забывать (обычно почему то именно на дисковой подсистеме любят экономить а потом страдают). -- Maxim Boguk www.postgresql-consulting.ru ... |
|||
:
Нравится:
Не нравится:
|
|||
17.10.2015, 04:14 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Буфера уменьшить надо сильно. Например до 4gb. Может помочь заметно. ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2015, 01:24 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2, удалось что-нибудь сделать для ускорения? ... |
|||
:
Нравится:
Не нравится:
|
|||
22.10.2015, 07:57 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Добрый день, очень благодарен за рекомендации! На данный момент разработчики исправили ошибки в проекте, что дало ускорение в работе проекта. Помониторил через iostat загрузку дисковой подсистемы по совету Maxim Boguk и пока не обнаружил большой нагрузки, продолжу. По хорошему надо заменить подсистему, но этот сервер у нас был в наличии и пустовал (для покупки дисковой подсистемы нужны будут веские основания:) ) Misha Tyurin я попробую уменьшить память, проверю в понедельник и сразу отпишусь. Но у меня честно говоря не укладывается в голове, как это может помочь) Может мы здесь полагаемся, на то, что Linux и так кэширует данные и лучше освободить ресурсы для системы?! ... |
|||
:
Нравится:
Не нравится:
|
|||
23.10.2015, 11:21 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2, Да) ... |
|||
:
Нравится:
Не нравится:
|
|||
24.10.2015, 17:59 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2, еще у вас слабенькая машинка, но при этом вы ставите max_connections = 400 если все придут -- будет совсем плохо. делайте pgbouncer впереди в транзакшин пулинге и давайте штук 30-40 коннектов максимум в него ... |
|||
:
Нравится:
Не нравится:
|
|||
26.10.2015, 16:31 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Misha Tyurin, попробовал обрезать до 4Gb shared_buffers, но никаких изменений не произошло, ускорения не получили. Спасибо за рекомендацию по pg_bouncer! ... |
|||
:
Нравится:
Не нравится:
|
|||
28.10.2015, 12:16 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
https://arstechnica.com/civis/viewtopic.php?f=20&t=1116107 For the X56xx CPUs, if you run one or two dual-ranked DIMMs on a channel, the speed can be as high as 666MHz (DDR3-1333). If you add the third DIMM, the maximum speed drops to 400MHz (DDR3-800), but the CAS drops as well. The current limit for two dual-ranked registered DIMMs on a channel with X56xx CPUs is 96GB (12x8GB). That's a LOT of memory. If the OP needs more than that, then slower memory is fine. Otherwise, the OP should get the faster memory. Такие дела. Нужно по капельке уничтожать старые сервера на Xeon. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2017, 01:44 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
Я, собсно, что хотел. Из вашего опыта, если в подобной же конфигурации обснимаю памяти и получу таки 1333Mhz, действительно ли лимитируемые памятью операции в СУБД в среднем должны улучшиться прямо пропорционально, т.е. в 1.6 раз? Ситуация, как мне кажется, нередкая. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2017, 01:47 |
|
поменялась конфигурация сервера, но прироста производительности не получил
|
|||
---|---|---|---|
#18+
gk2 Помониторил через iostat загрузку дисковой подсистемы по совету Maxim Boguk и пока не обнаружил большой нагрузки, продолжу. медитировать на вывод iostat и htop? просто прекрасно я считаю))) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.07.2017, 08:52 |
|
|
start [/forum/topic.php?fid=53&gotonew=1&tid=1996377]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
37ms |
get topic data: |
11ms |
get first new msg: |
8ms |
get forum data: |
3ms |
get page messages: |
62ms |
get tp. blocked users: |
1ms |
others: | 320ms |
total: | 472ms |
0 / 0 |