|
проблема с БД
|
|||
---|---|---|---|
#18+
Добрый всем день Сегодня база стала с утра тормозить (даже банально IBE цепляюсь несколько минут против 20 секунд,об остальных операциях молчу). Начал изучать мониторинг, статистику и т.п. В статистике : Oldest transaction 14909543 Oldest active 14909544 Oldest snapshot 14909544 Next transaction 15148541 т.е. мусор собран на ять, висящих транзакций нету. В итоге от вышестоящего руководства получил команду на перезапуск сервера, выкинул всех из БД shutdown, перезапустил службу. После захода пользователей опять проблема повторилась. Начал изучать вывод fb_lock_print и увидел там: OWNER BLOCK 30626176 Owner id: 25702046371938308, type: 1, pending: 41230440 Process id: 5984224 (Alive), thread id: 5988032 Flags: 0x04 wait infn Requests (3641): forward: 25746016, backward: 41230440 Blocks: *empty* 30626176 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 40647312 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 15266496 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 40647312 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 69581696 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 40647312 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 15266496 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 40647312 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on 19256864 waits on 57670720 waits on 36343464 waits on 57670720 waits on 8110376 waits on 57670720 waits on 36343464 waits on 57670720 waits on хотя в подключениях нет с PID 57670720 и 36343464 и т.п. Что это такой? Менеджер блокировок глючит? И может это влиять на работу БД? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 08:24 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Становится всё печальнее: OWNER BLOCK 2056864 Owner id: 25681396169179140, type: 1, pending: 43642616 Process id: 5979416 (Alive), thread id: 5978312 Flags: 0x04 wait infn Requests (2719): forward: 270136, backward: 43642616 Blocks: *empty* 2056864 waits on 36430352 waits on 30626176 waits on 68835680 waits on 69105744 waits on nothing. 36440136 waits on nothing. 36430352 (potential deadlock). printout stopped after 51 owners 60215632 waits on 36430352 waits on 30626176 waits on 68835680 waits on 69105744 waits on nothing. 36440136 waits on nothing. 36430352 (potential deadlock). printout stopped after 51 owners 1499736 waits on 36430352 waits on 30626176 waits on 68835680 waits on 69105744 waits on nothing. 36440136 waits on nothing. 36430352 (potential deadlock). printout stopped after 51 owners 60215632 waits on 36430352 waits on 30626176 waits on 68835680 waits on 69105744 waits on nothing. 36440136 waits on nothing. 36430352 (potential deadlock). printout stopped after 51 owners 40644120 waits on 36430352 waits on 30626176 waits on 68835680 waits on 69105744 waits on nothing. 36440136 waits on nothing. 36430352 (potential deadlock). printout stopped after 51 owners 60215632 waits on 36430352 waits on 30626176 waits on 68835680 waits on 69105744 waits on nothing. 36440136 waits on nothing. 36430352 (potential deadlock). printout stopped after 51 owners 1499736 waits on 36430352 waits on 30626176 waits on 68835680 waits on 69105744 waits on nothing. 36440136 waits on nothing. 36430352 (potential deadlock). printout stopped after 51 owners ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 08:43 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
если хочешь, чтобы тебе отвечали - пиши в одно место, а не в несколько. Я не собираюсь дублировать свои ответы. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 09:06 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemarт.е. мусор собран на ять, висящих транзакций нету. лично уже ответили, но все равно чтобы топик заполнить: может ты не то скопировал, но даже визуально 151 отличается от 149 Next transaction 15148541 - Oldest active 14909544 = 239997. То есть, столько транзакций "назад" торчит активная транзакция. Соответственно, смотрим в mon$transactions, находим mon$attachment_id, находим его в mon$attachments, и решаем, что с ним делать. Предварительно успев посмотреть, что делает он сам (в mon$statements). ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 11:43 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
На текущий момент в базе: Oldest transaction 14909543 Oldest active 15973571 Oldest snapshot 15973571 Next transaction 16178143 Разрыв - 204572. Транзакция 15973571 стартовала час назад, начата модулем группового оприходования. Разрыв 200-250 тысяч при активной работе усеров у нас это нормально. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 12:02 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar, 50 транзакций в секунду в течении всего дня? ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 13:08 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
dimitr, в среднем 1.65 млн. транзакций в сутки. если 24 часа, то 18 транзакций в секунду. и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 13:36 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
dimitrGallemar, 50 транзакций в секунду в течении всего дня? У нас примерно также - вот типичная статистика с интервалом примерно 20-40 сек. Код: plaintext 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25.
... |
|||
:
Нравится:
Не нравится:
|
|||
19.10.2015, 13:37 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
хм сейчас статистика показывает: Oldest transaction 16269263 Oldest active 18256724 Oldest snapshot 17123384 Next transaction 18381561 По MON$ транзакции 17123384 нет, как теперь найти её инициатора? ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2015, 04:31 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Разобрался, это gbak не отработал ещё ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2015, 04:40 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Блин,база весит ужасно,скоро разденут до кальсон,босиком по утреннему снегу заведут за амбар и расстреляют ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2015, 05:41 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar, выясняй, что вдруг произошло. кто-то написал кривой запрос, или сдох диск в рэйде, или еще что-то. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2015, 13:13 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
GallemarПо MON$ транзакции 17123384 нет Потому что искать надо не 17123384, а 17123385. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2015, 13:39 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
GallemarПо MON$ транзакции 17123384 нет, как теперь найти её инициатора? ты все забыл. Oldest Snapshot - это маркер самой старой активной транзакции, которая была жива на момент старта oldest active, имеющей уровень изолированности snapshot (для RC OST = OAT). Соответственно, OST блокирует OAT, который в последнем примере 18256724. Именно эту и надо искать. OAT - нижняя граница активных транзакций. Транзакции меньше OAT давно завершены. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2015, 14:22 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
kdvGallemar, выясняй, что вдруг произошло. кто-то написал кривой запрос, или сдох диск в рэйде, или еще что-то. C запросами всё ОК. Проблему решил удалением триггеров IBReplicator и физической перезагрузкой сервера. Такое ощущение,что проблема с RAID. Пока оставлю как есть,буду смотреть будет ли опять деградация скорости. Потом перенесу на другой массив базу,день погоняю, верну репликацию. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.10.2015, 14:31 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Нечто вообще удивительно - база висит,в выводе fb_lock_print LOCK_HEADER BLOCK Version: 145, Active owner: 0, Length: 134217728, Used: 74005072 Flags: 0x0001 Enqs: 5015557120, Converts: 21452651, Rejects: 167916930, Blocks: 128242491 Deadlock scans: 7957, Deadlocks: 0, Scan interval: 10 Acquires: 5990776747, Acquire blocks: 1024427854, Spin count: 0 Mutex wait: 17.1% Hash slots: 65521, Hash lengths (min/avg/max): 0/ 1/ 10 Remove node: 0, Insert queue: 0, Insert prior: 0 Owners (375): forward: 18721456, backward: 58635696 Free owners (78): forward: 74002608, backward: 62869744 Free locks (26769): forward: 538120, backward: 4716216 Free requests (138304): forward: 1244320, backward: 60388024 Lock Ordering: Enabled ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2015, 10:19 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar, автоматическая сборка мусора по интервалу транзакций, как я понимаю, отключена для этой БД? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2015, 10:36 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
DBConstructorGallemar, автоматическая сборка мусора по интервалу транзакций, как я понимаю, отключена для этой БД? Отключена,sweep по расписанию. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2015, 10:37 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
GallemarНечто вообще удивительно - база висит,в выводе fb_lock_print лок-принт с остальными ключами ты делал в этот момент? ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2015, 16:04 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
dimitrGallemarНечто вообще удивительно - база висит,в выводе fb_lock_print лок-принт с остальными ключами ты делал в этот момент? Да,скину позже на почту. ... |
|||
:
Нравится:
Не нравится:
|
|||
06.11.2015, 16:42 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
dimitr, отправил ссылку на архив на почту. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.11.2015, 05:12 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
В общем,проблему победил. Причин оказалось полно: 1. Из 1с запускался запрос с планом natural на таблице в 3 млн. строк. 2. В программе разработчик допустил ошибку в обновлении, один из модулей зависал. 3. Один из нагруженных процессов вынесен на копию базы. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2015, 09:20 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar, ну и как - сильно помог вывод lockprint ? ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2015, 12:08 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
hvladGallemar, ну и как - сильно помог вывод lockprint ? ;) Не особо. Поймал по mon-таблицам. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2015, 12:09 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar> 1. Из 1с запускался запрос с планом natural на таблице в 3 млн. строк. Gallemar> 2. В программе разработчик допустил ошибку в обновлении, один из модулей зависал. Какой локпринт, какие транзакции, какие настройки и пр... Датское королевство в лучшем виде, о чём уже говорилось давно и много-много раз. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
17.12.2015, 22:04 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
for Рустам - программа закрыта,я не знаю что они там наделали. Мне только выдали bpl для патча. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.12.2015, 09:23 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar> программа закрыта В смысле внешними разработчиками? Дык у вас обоюдный интерес сделать её по-человечески, тем паче, что сам по себе "аудит" работы с БД (те самые транзакции и пр.) много сил/времени не отнимает - справились бы за пару месяцев, давно уже. И страдать не пришлось бы столько. Я ж тебе давно и много раз говорил - не то и не с той стороны лечишь. Хотя, может, что-то немного и улучшишь, с помощью птицеводов, КДВ, форума и т.д. > Мне только выдали bpl для патча. В смысле "замени такой-то файл и наступит щастье" ? Странный подход. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.12.2015, 18:48 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Гаджимурадов РустамGallemar> программа закрыта В смысле внешними разработчиками?Дык у вас обоюдный интерес сделать её по-человечески, тем паче, что сам по себе "аудит" работы с БД (те самые транзакции и пр.) много сил/времени не отнимает - справились бы за пару месяцев, давно уже. И страдать не пришлось бы столько. Ага.Ты такой наивный. У нас все заявки по проблемам с ПО уходят в никуда. Всегда одни ответы - "это ваш OLAP, это ваша 1с, это ваши программисты наши процедуры поправили". Чтобы реально появился интерес надо четко зафиксировать проблему. И тыкать в неё носом. Ну и мы самые крупные пользователи этой системы, то что для кого то нормально, для нас смерть. Это порождает ещё один вариант ответа "у всех работает, у одних вас проблемы,купите новый сервер". На этой неделе перенес на копию простой процесс, который если запущен 80 пользователями примерно в одно время, нехило так базу подвешивает. А проблемы раньше не было, да, пока ещё дополнительные 5 магазинов в сети не открылась. Могу в личку скинуть переписку с техподдержкой Датакрата, посмеешься. Гаджимурадов РустамЯ ж тебе давно и много раз говорил -не то и не с той стороны лечишь. Хотя,может, что-то немного и улучшишь, с помощью птицеводов, КДВ, форума и т.д. kdv на меня забил и даже денег не хочет. Печально. Гаджимурадов Рустам> Мне только выдали bpl для патча. В смысле "замени такой-то файл и наступит щастье" ? Странный подход. Что такое bpl ты не знаешь? Странно. Патч помог,кстати. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.12.2015, 19:15 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
GallemarМогу в личку скинуть переписку с техподдержкой Датакрата, посмеешься. я тебя могу относительно утешить, что такая ситуация есть даже в больших конторах, в которых отделы разработчиков и админов рядом, т.е. это не сторонний софт, а свой же. Админы пинают разработчиков, разработчики в ответ плюют в админов. Куда смотрит начальник ИТ-отдела, не имею понятия. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.12.2015, 19:26 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
kdvАдмины пинают разработчиков, разработчики в ответ плюют в админов. А самое классное - в проблемах связанных с ПО не разберется сторонний DBA. Только причастный к прикладному ПО. ... |
|||
:
Нравится:
Не нравится:
|
|||
18.12.2015, 19:35 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar> У нас все заявки по проблемам с ПО уходят в никуда. Gallemar> Ну и мы самые крупные пользователи этой системы Странная у вас какая-то ситуация и разработчики. Сменить (их или систему) даже предлагать не буду, от греха подальше. Но не мешало бы подумать над вариантом "купить исходники (или парочку главных разработчиков) системы". > Могу в личку скинуть переписку с техподдержкой Датакрата, посмеешься. Кто это такие, я не знаю, но кидай, гляну на досуге. > kdv на меня забил и даже денег не хочет. Печально. Гы... Я даже удивился, как он тогда ринулся тебе помогать. Я бы тоже забил (не в смысле отказался, а не стал браться) - твой вариант на 90% проигрышный, только минусы себе в репутацию - оно ему надо? > Что такое bpl ты не знаешь? Странно. Патч помог,кстати. BPL-то знаю, дело не в них. Замена что BPL, что DLL - не имеет значения, подход просто неправильный "нате вам файл, замените в папке и от****сь". С такими речку вброд не перейдешь, увы. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.12.2015, 21:27 |
|
проблема с БД
|
|||
---|---|---|---|
#18+
Gallemar> А самое классное - в проблемах связанных с ПО не разберется сторонний DBA Когда как. ПО разное, ДБА разные. Я думал, что ты у вас ДБА, а не сторонний. Или ты про ПО стороннее? Так это бла-бла-бла, я ещё не встречал админов - что ДБА, что сисадминов - которые довольны ПО (любым, а тем паче сторонним) - у них всегда ПО виноваты, пользователи, кривые руки и пр. катаклизмы, но не они. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
18.12.2015, 21:29 |
|
|
start [/forum/topic.php?all=1&fid=40&tid=1562444]: |
0ms |
get settings: |
8ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
32ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
54ms |
get tp. blocked users: |
1ms |
others: | 15ms |
total: | 140ms |
0 / 0 |