Новые сообщения [новые:0]
Дайджест
Горячие темы
Избранное [новые:0]
Форумы
Пользователи
Статистика
Статистика нагрузки
Мод. лог
Поиск
|
15.01.2020, 09:16
|
|||
---|---|---|---|
|
|||
Падает скорость обработки данных |
|||
#18+
Приветствую! Есть постгрес 9.6. Для прописания конф файла, по совету бывалых форума, использовал https://pgtune.leopard.in.ua/ В чем проблема: есть две таблички. В одну (input_table) пишутся данные (идет инсерт сразу несколько строк (батчем)). Приложение забирает данные из нее, обрабатывает по одной и пишет (single insert) в другую (parsed_table). Есть нюанс: если в какой-то момент в обработку попадает запись с флагом, то нужно найти все уже существующие записи по user_id в parsed_table, удалить их и сделать insert новых. Если таблица пустая и в нее начинают литься данные, delete и insert происходят быстро (брал данные из pg_stat_statements) около 0.3 мс. Но со временем, когда общее число записей начинает превышает 500 тыс срок начинают проявляться рост времени обработки записей. В какой-то момент было даже до 10 секунд. В среднем, в таблицу инсертятся от 12 до 20 тыс записей в минуту. Скрипт создания таблиц Код: plsql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32.
DELETE: Код: sql 1. 2.
Настраивал автовакуум: Код: sql 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30.
Код: sql 1. 2.
Нагрузка, я так понимаю, мизерная, что-то в настройках не так или в коде приложения, потому что по паралелльным запросам тоже наблюдаются тормоза, даже с тех таблиц, где мало записей. Помогите советами! Спасибо! ... |
|||
:
Нравится:
Не нравится:
|
|||
|
15.01.2020, 10:27
|
|||
---|---|---|---|
Падает скорость обработки данных |
|||
#18+
авторautovacuum_vacuum_scale_factor = 0.2 autovacuum_vacuum_cost_delay = 60ms Он вообще когда-нибудь завершается? Дефолтные 20мс (до pg12) и то для калькуляторов, а уж ухудшать ещё втрое... ... |
|||
:
Нравится:
Не нравится:
|
|||
|
15.01.2020, 11:59
|
|||
---|---|---|---|
|
|||
Падает скорость обработки данных |
|||
#18+
Melkij, можете, пожалуйста, подсказать, какие настройки лучше поставить? ... |
|||
:
Нравится:
Не нравится:
|
|||
|
15.01.2020, 12:31
|
|||
---|---|---|---|
Падает скорость обработки данных |
|||
#18+
qi_ip, scale_factor на порядок вниз, cost_delay вплоть до нуля. Если SSD нормальные. Ну и заменить очередь на что-нибудь подходящее. pgq если оставаться в базе. ... |
|||
:
Нравится:
Не нравится:
|
|||
|
15.01.2020, 12:38
|
|||
---|---|---|---|
|
|||
Падает скорость обработки данных |
|||
#18+
Melkij qi_ip, scale_factor на порядок вниз, cost_delay вплоть до нуля. Если SSD нормальные. Ну и заменить очередь на что-нибудь подходящее. pgq если оставаться в базе. На счет pgq так и не смог найти версию, чтобы потестить на винде (((( а быстро на linux переучиваться не получится. За совет спасибо! Попробую прописать настройки! ... |
|||
:
Нравится:
Не нравится:
|
|||
|
|
start [/forum/topic.php?fid=53&mobile=1&tid=1994866]: |
0ms |
get settings: |
10ms |
get forum list: |
15ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
35ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
45ms |
get tp. blocked users: |
2ms |
others: | 16ms |
total: | 147ms |
0 / 0 |