|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Добрый день Есть небольшая БД 50 гигов. Классик 2.5.9.27146 По расписанию по ночам у нее sweep. И он стал бесконечный и на производительность не влияет. Думал сделать Б/Р. Но для теста сделал рестор предыдущего бекапа. На тестовой базе запустил sweep, и та же проблема sweep не заканчивается, в лог сообщений о finish не падает, таск висит, транзакция висит. https://monosnap.com/file/JGaotfdEtcZOBPMW8DkaslhXuF88IH чек базы с ключами -v -f делал, ошибок нет. Что еще попробовать сделать? индексы отключить? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 10:07 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
smatch, скачай свежий снапшот. Эту ошибку случайно недавно внесли и вчера поправили ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 10:10 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Симонов Денис, спасибо ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 10:58 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Симонов Денис smatch, скачай свежий снапшот. Эту ошибку случайно недавно внесли и вчера поправили У меня была похожая ситуация на 3.0.4 SS. На базе 35гб свип шел 16 часов, после чего было решено сделать б/р. Службу, кстати, остановить не удалось, пришлось килять процесс firebird.exe. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 11:56 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
20.11.2019 11:56, YuRock пишет: > пришлось килять процесс firebird.exe. нехорошо. во время свипа. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 12:13 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRock А в тройке тоже? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 12:26 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Мимопроходящий 20.11.2019 11:56, YuRock пишет: > пришлось килять процесс firebird.exe. нехорошо. во время свипа. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 12:26 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRockНа базе 35гб свип шел 16 часов, после чего было решено сделать б/р. вот как раз после б/р такое и бывает, ибо swept флаг сбрасывается. И sweep приходится лопатить БД целиком. Ну или если вы полбазы обновили/удалили ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 12:34 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Симонов Денисвот как раз после б/р такое и бывает, ибо swept флаг сбрасывается не после б/р, а после "р", и не сбрасывается, а он просто выключен на новых страницах, а новые - все. это если быть точным :-) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 12:44 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Симонов Денис вот как раз после б/р такое и бывает, ибо swept флаг сбрасывается. И sweep приходится лопатить БД целиком. Ну или если вы полбазы обновили/удалили 1. Мусора относительно много не было, и не бывает на этой базе. б/р сделали 1-й раз за жизнь базы. Просто ради того, чтобы восстановить работоспособность базы, т.к. устали ждать чуда. Что я могу сказать о том, что там происходило: в этот день перезагрузили по каким-то причинам сервак. Говорят, штатно. И вот после этого запустился свип, т.к. next-old было около 100к (почему - это другой вопрос, ко мне). Мне непонятно это: что там можно делать 16 часов с базой 35гб??? Сложилось впечатление, что свип завис/зациклился, т.к. время уже нереальное было, вот и прервали. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 16:03 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
hvlad Мимопроходящий 20.11.2019 11:56, YuRock пишет: > пришлось килять процесс firebird.exe. нехорошо. во время свипа. В логе отобразился обрыв коннекшенов. Так же в логе отобразилось окончание (прерывание) свипа. Всё, больше ничего не было в логе в течение 20 минут, пока ждали. Все эти 20 минут firebird.exe не использовал процессор, не менялись параметры "Размер выделенной памяти", "Потоки", "Дескрипторы"... Никакие. Как просто заснул процесс. Вот и пришлось снимать. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 16:06 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRock А что делать? Нажали "Остановить службу". Или даже просто убить коннект свипа через мониторинг. В логе что-то появилось (кроме inet ошибок от оборванных клиентских коннектов) ? PS основная причина сверх-долгого свипа - множество бекверсий в таблицах с множеством индексов (оба условия) ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 16:34 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRock, сборка мусора в индексах очень тяжёлая операция, особенно после массовых удалений. Так что вряд ли проблема с самим sweep ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 16:37 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Симонов Денис очень тяжёлая операция а на чём именно она тяжелая? насколько понимаю, типовая программа может уперетья в потолок по одному из трёх ресурсов 1) отожрали 100% скорости процессора, взяли бы и больше - но упёрлись в скорость процессора 2) отожрали 100% оперативной/виртуальной памяти, взяли бы и больше - но нету 3) отожрали 100% disk i/o, взяли бы и больше, но упёрлись в физические ограничения диска YuRock Все эти 20 минут firebird.exe не использовал процессор, не менялись параметры "Размер выделенной памяти", "Потоки", "Дескрипторы"... Никакие. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 17:51 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
hvlad В логе что-то появилось (кроме inet ошибок от оборванных клиентских коннектов) ? YuRock В логе отобразился обрыв коннекшенов. Так же в логе отобразилось окончание (прерывание) свипа. Больше ничего. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:05 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Симонов Денис сборка мусора в индексах очень тяжёлая операция, особенно после массовых удалений. Массовые - это какие? Раз в день удаляется по ~10000 записей из одной таблицы. В ней есть блобы. Сразу после удаления - делается коммит, затем принудительно делается Код: sql 1.
И снова коммит. Всего в таблице ~250000 записей постоянно. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:10 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRock Массовые - это какие? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:20 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRockСразу после удаления - делается коммит, затем принудительно делается SELECT COUNT(* это типа заклинание какое-то? Оно же не работает, если есть активные транзакции. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:25 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
hvlad YuRock Массовые - это какие? Вот gstat -r по таблице, где происходят удаления. С другой базы - тестовой и маленькой, но структура та же. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55. 56. 57. 58. 59. 60. 61. 62. 63. 64. 65. 66. 67. 68. 69. 70. 71. 72. 73. 74. 75. 76. 77. 78. 79. 80. 81. 82. 83. 84. 85. 86. 87. 88. 89. 90. 91. 92. 93. 94. 95. 96.
Код: sql 1. 2. 3. 4. 5. 6. 7.
DOPER, DPROCESSING - TIMESTAMP, APPLY - CHAR(1), остальные поля - INTEGER. В боевой базе, как я говорил, постоянно 250к записей и ежедневно удаляется 10к. Это много для такой таблицы? И вообще, что в ней особенно плохо? :) Спасибо. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:39 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
kdv YuRockСразу после удаления - делается коммит, затем принудительно делается SELECT COUNT(* это типа заклинание какое-то? Оно же не работает, если есть активные транзакции.Да, заклинание, в надежде что их нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:41 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRock Да, заклинание, в надежде что их нет. Поставить "gfix -sweep" в расписание - сильно сложно? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:49 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
Basil A. Sidorov YuRock Да, заклинание, в надежде что их нет. Поставить "gfix -sweep" в расписание - сильно сложно? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:52 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRock если Да, FB 2.5 всегда прочитает все страницы, но в чём проблема проверить на копии базы? Я уж молчу, что запуск сборки мусора в контролируемое время предполагает, что надо бы взять за правило делать "gfix -h 0". ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 18:56 |
|
Бесконечный sweep sweep
|
|||
---|---|---|---|
#18+
YuRock hvladgstat -r изучай, регулярно Не маленький вроде - сам умеешь :) YuRock Вот gstat -r по таблице, где происходят удаления. YuRock С другой базы - тестовой и маленькой ... |
|||
:
Нравится:
Не нравится:
|
|||
20.11.2019, 19:03 |
|
|
start [/forum/topic.php?fid=40&fpage=18&tid=1560510]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
52ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
99ms |
get tp. blocked users: |
1ms |
others: | 11ms |
total: | 208ms |
0 / 0 |