|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Здравствуйте. Недавно с файловой версии (под терминалом) 1С 8.3 перешли на клиент-серверную. железо больше, чем достаточно по мощности , ОС - Win 2016, с последними обновлениями. СУБД - PostgresSQL (PostgresPro_1C_9.6.3_X64bit_1C). Код: css 1. 2.
Заметны странные тормоза. Операторы при проведении заявок время от времени ловят висяк на 1-3 секунды. А также при навигации/поиски товара в каталоге. они не всегда. например вчера 10 мин. сидел около одного оператора, не смогли вызывать висяк. Хотя до этого говорит каждый час или полтора зависает на 1-3 секунд. Долго спорили с 1С_никами, те безусловно грешили на процессор (Xeon E5-2603, ОЗУ - 32ГБ) , но для 15-и пользователей это смешно просто. Но ради чистоты эксперименты проверил тестом Гилева. Смотрите, это тест гилева под postgreSQL: http://images.vfl.ru/ii/1510770695/58d31983/19437383.jpg Всего лишь 13. И очень долго: http://images.vfl.ru/ii/1510770741/030106a2/19437395.jpg Как видно - около 9 минут! Потом базу поставил на том же диске, с кем же процессором и результат удивил: http://images.vfl.ru/ii/1510770862/c8a6bb42/19437424.jpg И очень быстро: http://images.vfl.ru/ii/1510770917/e7af1031/19437434.jpg Всего 3 минуты. Ну и вот конфиг postgre: https://pastebin.com/ff0142rV С такими настройками только смог добиться максимального результата - 13. С дефолтным конфигом выдает 8 всего лишь. Помогите оптимизировать, пожалуйста. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.11.2017, 21:44 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20, Тут рядом примерно тоже самое в теме “Затык при записи большого объема при помощи COPY, нужен совет”. По признакам — контрольные точки частые. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.11.2017, 22:24 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
vyegorov, Возможно, но у меня не такой большой обьем. Вот список БД: https://pastebin.com/HqGWx2aY здесь Trade - это база торговли buh - база бухгалтерии gilev - база Гилева для теста Вот столько весит база торговли: Код: sql 1. 2. 3.
Можно ли как то сузить проблему? понять в чем конкретно проблема? то что проблема в postgres , это уже выяснили методом тыка так сказать, но дальше не хватает знания. могу предоставить логи/замеры производительности, если необходимо. Если если желание, могу дать удаленный доступ, посмотрите. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.11.2017, 22:45 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20, Ну вот в соседней теме был дан запрос, нужен его вывод. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.11.2017, 22:50 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
vyegorov, хорошо, завтра с утра выложу тут. А он никак не повлияет на работу? Просто с 8-и утра до 8-и вечера работают сервером операторы, не приветствуется приостановка работы :) ... |
|||
:
Нравится:
Не нравится:
|
|||
15.11.2017, 23:13 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Вот выдача: Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45.
... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2017, 09:57 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Вопрос еще актуален. Есть какие то предложений ? ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2017, 13:04 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20, Поменяйте и примените настройки: Код: sql 1. 2. 3. 4. 5. 6.
Достаточно сделать `SELECT pg_reload_conf()` после изменения конфига. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2017, 14:47 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
vyegorov, поменял конфиг, перезагрузил сервер, но тест Гилева тоже самое показывает: http://images.vfl.ru/ii/1510933352/7679c470/19460763.jpg Вот результат того же скрипта: Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45.
Насчет тормозов - уже мало менеджеров работают и за 10 мин работы только один менеджер сказал, что на 2 секунды было зависание. Вот свежий конфиг: https://pastebin.com/gv97EfC9 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2017, 18:54 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20, Я не могу сказать что там у вас. Надо мониторить нагрузку на ЦПУ и на диски, соотносить с активностью в базе. Тем более у вас винда, я её готовить не умею для производительности Postgres-а. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2017, 20:21 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Все же результатов не давал эти поправки. только немного изменилась картинка нагрузки: http://images.vfl.ru/ii/1511334412/8f6ce24d/19521455.jpg Но зависание происходит не только на пиках и бывает так, что даже нет никакой нагрузки а подвисает на 1-2 секунды. например вот смотрите: http://images.vfl.ru/ii/1511334619/2a61a34d/19521484.jpg на пике 1 - небыло пидвисания, а на пике 2 был. А бывает, что на пике 1 тоже бывает подвисание. скорее всего это никак не связан с аппаратной частью. Может есть еще предложение по тюнингу конфига postgre? свежий конфиг: https://pastebin.com/gv97EfC9 ... |
|||
:
Нравится:
Не нравится:
|
|||
22.11.2017, 10:12 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20Но зависание происходит не только на пиках и бывает так, что даже нет никакой нагрузки а подвисает на 1-2 секунды. например вот смотрите: http://images.vfl.ru/ii/1511334619/2a61a34d/19521484.jpg на пике 1 - небыло пидвисания, а на пике 2 был. А бывает, что на пике 1 тоже бывает подвисание. скорее всего это никак не связан с аппаратной частью.А графики по памяти + свопу + дисковой активности у вас имеются?.. halogen20Может есть еще предложение по тюнингу конфига postgre?ну Postgre s же! ... |
|||
:
Нравится:
Не нравится:
|
|||
22.11.2017, 17:15 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20Все же результатов не давал эти поправки. только немного изменилась картинка нагрузки: http://images.vfl.ru/ii/1511334412/8f6ce24d/19521455.jpg Но зависание происходит не только на пиках и бывает так, что даже нет никакой нагрузки а подвисает на 1-2 секунды. например вот смотрите: http://images.vfl.ru/ii/1511334619/2a61a34d/19521484.jpg на пике 1 - небыло пидвисания, а на пике 2 был. А бывает, что на пике 1 тоже бывает подвисание. скорее всего это никак не связан с аппаратной частью. Может есть еще предложение по тюнингу конфига postgre? свежий конфиг: https://pastebin.com/gv97EfC9 С такими вопросами куда как эффективнее обращаться в официальную поддержку 1С или их партнеров. 1C настолько нестандартно работает с базой что обычные рекомендации по конфигу не помогают зачастую. Попробуйте temp_buffers = 64MB / max_worker_processes = 8 / max_parallel_workers_per_gather = 8 / seq_page_cost = 1.0 / random_page_cost = 1.1 / parallel_setup_cost = 100 / effective_cache_size = 32GB / geqo_threshold = 14 / from_collapse_limit = 12 / join_collapse_limit = 12 Наверное все что можно тут сказать. PS: fsync = off - идея дурная до первого сбоя сервера или питания а потом будут вопросы как базу восстановить побитую, лучше сделайте fsync = on / synchronous_commit = off (а совсем хорошо on/on но тогда сервер нормальный нужен) PPS: я надеюсь диск там у вас server grade SSD? иначе вообще о скорости и надежности работы говорить нельзя. PPPS: никто не знает чего этот тест гилева меряет. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 01:03 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
vyegorov память смысла нет ставить даже, т.к. у нас 32 ГБ, а из него всего 20% забирается при сильном нагрузки. А диски.. диски система стоит на SSD (PRO серии) http://images.vfl.ru/ii/1511416726/8aa0b7ea/19533685.jpg А база стоит на RAID1, из 2х HDD дисков, интерпрайс серии. http://images.vfl.ru/ii/1511416726/8aa0b7ea/19533685.jpg Я базу ставил и на SSD диске, вместе с системой, но результатов не было вообще. Maxim Boguk Уже обратился в одну контору по обслуживанию 1С, приехали, посмотрели. говорят вроде все нормально и сказали, что они не специалисты по Postgres, попробуют что то делать. Я им предлагал переписать запросы проведения заявок и пробовать с новым кодом, но пока они только пальцы гнут. effective_cache_size = 32GB - насколько это приемлемо будет для меня? у нас всего 32ГБ физической памяти на сервере. fsync = on - с таким параметром тест Гилева еще меньше показывает. Но раз такая гулянка, то поставлю :) ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 09:12 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20 Maxim Boguk Уже обратился в одну контору по обслуживанию 1С, приехали, посмотрели. говорят вроде все нормально и сказали, что они не специалисты по Postgres, попробуют что то делать. Я им предлагал переписать запросы проведения заявок и пробовать с новым кодом, но пока они только пальцы гнут. effective_cache_size = 32GB - насколько это приемлемо будет для меня? у нас всего 32ГБ физической памяти на сервере. fsync = on - с таким параметром тест Гилева еще меньше показывает. Но раз такая гулянка, то поставлю :) effective_cache_size = 32GB ставить можно но фундаментально он вам не поможет. PS: а у вас база и 1С на разных физических серверах теперь или на одном и том же? Если на разных то проверьте скорость и качество линка между серверами (а лучше всего постоянно network latency мерять раз в секунду и иметь график), так как проблема может быть на сетевом уровне а тогда ни 1С ни PostgreSQL вообще не причем. PPS: таки попробуйте базу на SSD сделать системном для интереса (включая wal и прочее а не только tablespace с базой) и после запуска базы попробуйте прогонять тест раза 3-4 и смотреть не становится ли быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 13:14 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Maxim Boguk, авторPS: а у вас база и 1С на разных физических серверах теперь или на одном и том же? нет, все на одном сервере. локально тоже самое затормаживает. авторPPS: таки попробуйте базу на SSD сделать системном для интереса (включая wal и прочее а не только tablespace с базой) и после запуска базы попробуйте прогонять тест раза 3-4 и смотреть не становится ли быстрее. Я еще в тестовом режиме когда был - поэкспериментировал, базу поставил на SSD, менял параметры по всем сценариям, потом дело дошло до того, что начал чисто методом тыка менять конфиг-файл (а что еще делать, не сервере тестировал базу) но так и не смог добиться нормальной работы. какие то затыки время от времени возникают. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 13:25 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20Maxim Boguk, авторPS: а у вас база и 1С на разных физических серверах теперь или на одном и том же? нет, все на одном сервере. локально тоже самое затормаживает. авторPPS: таки попробуйте базу на SSD сделать системном для интереса (включая wal и прочее а не только tablespace с базой) и после запуска базы попробуйте прогонять тест раза 3-4 и смотреть не становится ли быстрее. Я еще в тестовом режиме когда был - поэкспериментировал, базу поставил на SSD, менял параметры по всем сценариям, потом дело дошло до того, что начал чисто методом тыка менять конфиг-файл (а что еще делать, не сервере тестировал базу) но так и не смог добиться нормальной работы. какие то затыки время от времени возникают. Мне тут на FB посоветовали вас направить на http://www.gilev.ru/postgresql/ с вопросами. ;) Если обратитесь и помогут - расскажите что именно сделали чтобы знание в общественность нести. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 13:32 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Maxim Boguk, кто вас посоветовал, уточните пожалуйста у него - финансировать может эту услугу? :D ))))))) автор temp_buffers = 64MB / max_worker_processes = 8 / max_parallel_workers_per_gather = 8 / seq_page_cost = 1.0 / random_page_cost = 1.1 / parallel_setup_cost = 100 / effective_cache_size = 32GB / geqo_threshold = 14 / from_collapse_limit = 12 / join_collapse_limit = 12 Теперь это стоит делать или толку не будет? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 13:42 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20Maxim Boguk, кто вас посоветовал, уточните пожалуйста у него - финансировать может эту услугу? :D ))))))) автор temp_buffers = 64MB / max_worker_processes = 8 / max_parallel_workers_per_gather = 8 / seq_page_cost = 1.0 / random_page_cost = 1.1 / parallel_setup_cost = 100 / effective_cache_size = 32GB / geqo_threshold = 14 / from_collapse_limit = 12 / join_collapse_limit = 12 Теперь это стоит делать или толку не будет? Попробуйте. Вреда не будет но вдруг поможет. PS: на счет финансирования - у других PostgreSQL консультантов будет сильно дороже ;). ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 13:45 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20Maxim Boguk, кто вас посоветовал, уточните пожалуйста у него - финансировать может эту услугу? :D ))))))) автор temp_buffers = 64MB / max_worker_processes = 8 / max_parallel_workers_per_gather = 8 / seq_page_cost = 1.0 / random_page_cost = 1.1 / parallel_setup_cost = 100 / effective_cache_size = 32GB / geqo_threshold = 14 / from_collapse_limit = 12 / join_collapse_limit = 12 Теперь это стоит делать или толку не будет? Мне тут интересную вещь сам Гилев написал: Gilev50% потоковой производительности приходится на частоту процессора, ваш процессор Xeon E5-2603 очень плох, если вы его замените хотя бы на 2643, а также включите турбобуст, то увидите ускорение в несколько раз ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 13:47 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Ну и так же от Гилева: имейте ввиду, что любая файловая 1С быстрее клиент-сервеной 1С, тут http://www.gilev.ru/mssqlvsfile/ написано подробно PS: а вообще идете в https://www.facebook.com/groups/postgresql/permalink/674498162746934/?comment_id=674579276072156&reply_comment_id=674587362738014¬if_id=1511433992748538¬if_t=group_comment_mention и там обсуждайте. Я вам не почтовый голубь. ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 14:01 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Вы тоже считайте, что проблема в процессоре? да я бы поменял процессор, если бы знал, что точно из за этого, но почему то не могу найти логическое объяснение к тому, что притормаживает хаотично. Сегодня , видел как подвисал 5 секунд где то.. экран белеет, типа когда ПО не отвечает, становится неактивно. Веером поставил на выгрузку базы бухгалтерии: http://images.vfl.ru/ii/1511462248/9e633176/19543847.jpg И в это время просил 3х операторов в торговле работать - и не одного тормажения, хотя логично было бы ведь, если из за процессора все эти проблемы были бы. Опять таки, я ради эксперимента менял бы процессор, но они дорогие, если куплю и не окажется что из за процессора ? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2017, 21:43 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20Вы тоже считайте, что проблема в процессоре? да я бы поменял процессор, если бы знал, что точно из за этого, но почему то не могу найти логическое объяснение к тому, что притормаживает хаотично. Сегодня , видел как подвисал 5 секунд где то.. экран белеет, типа когда ПО не отвечает, становится неактивно. Веером поставил на выгрузку базы бухгалтерии: http://images.vfl.ru/ii/1511462248/9e633176/19543847.jpg И в это время просил 3х операторов в торговле работать - и не одного тормажения, хотя логично было бы ведь, если из за процессора все эти проблемы были бы. Опять таки, я ради эксперимента менял бы процессор, но они дорогие, если куплю и не окажется что из за процессора ? А какой ответ вы тут хотите услышать? вы бы привели график дисковой утилизации и сравнили бы пики там и лаги в 1С. Обычно такие замерзания - это про тормоза у механических дисков. PS: ставить клиент-серверную 1С и базу и саму 1С на один хост - идея плохая (не для того оно придумано чтобы все на 1 сервер совать). PPS: процессор это про цифры в тесте гилева а не про убрать лаги. Вы бы почитали внимательно его сайт если уж не хотите платную поддержку брать. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2017, 00:43 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
Вы то одно говорите то другое. давайте резюмируем. все же замена процессора спасет ситуацию ? Если нет, то какие мероприятия делать? на разных серверах ставить 1С, для 20-и пользователей, это нонсенс )))) для диска какие счетчики вводить на мониторинг? ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2017, 15:09 |
|
Помогите оптимизировать базу
|
|||
---|---|---|---|
#18+
halogen20Вы то одно говорите то другое. давайте резюмируем. все же замена процессора спасет ситуацию ? Если нет, то какие мероприятия делать? на разных серверах ставить 1С, для 20-и пользователей, это нонсенс )))) для диска какие счетчики вводить на мониторинг? " заплати налоги и" "спи спокойно, дорогой товарищ" мало с 1С-ом сюда влез, так ещё и претензии выкатывает. забавный случай. помнится служил я в одной маленькой психиатрической лечебнице. там 1С стоял на постгресе, УПП, как сейчас помню. так пока запросы в 1С не переписал, запуск расчета себестоимости ставил 1С-ину в позу головогрудого. на весь день. потом они что--то пропатчили в своем трансляторе и в пж -- и мы даже вернулись почти к начальным (на языке 1С) запросам -- с кучей апдейтов на одном месте пачками по 10000 в одной многоиттерационной транзе. жесть. ... |
|||
:
Нравится:
Не нравится:
|
|||
24.11.2017, 16:52 |
|
|
start [/forum/topic.php?fid=53&msg=39559076&tid=1995976]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
43ms |
get topic data: |
9ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
others: | 14ms |
total: | 153ms |
0 / 0 |