ReSQL.ru
     
powered by simpleCommunicator - 2.0.50     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Тормоза сервера при зависшых транзакциях
25 сообщений из 32, страница 1 из 2
  1  все
Тормоза сервера при зависшых транзакциях
    #39942205
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
Ситуация следующая: бывает так, что при работе с базой из ibe например, отваливается резко коннект, а у тебя там незавершенная транзакция висит, соотв она так и остается висеть, пока ее не закроешь из мониторинга. Бывает, такая транзакция может провисеть 2-3 дня, как только натыкаюсь на такое, делаю shutdown attachment, и вот после этого начинается веселуха. Часть запросов проходит нормально, часть зависают, и база начинает оч дико тормозить. Решается проблема после gfix sweep, базу отпускает, и все работает хорошо. Вряд ли это связано что запросы натыкаются на устаревшие версии, так как ловлю я это стабильно на тестовой базе, на которой за сутки апдейтится максимум записей 200-500. Один раз ловил такую проблему на боевой базе, где с транзакциями все ок, просто начинаются тормоза, после свипа все начинает работать.
Это вообще нормальное поведение или бага?
FB 3.0.5 SS Centos.
П.С. На всех базах раз в сутки в ночное время запускается свип.
...
Рейтинг: 0 / 0
30.03.2020, 12:30
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942210
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
demon1992
ри работе с базой из ibe например, отваливается резко коннект, а у тебя там незавершенная транзакция висит, соотв она так и остается висеть, пока ее не закроешь из мониторинга. Бывает, такая транзакция может провисеть 2-3 дня
keepalive не работает, настраивай.
И проверься - не про тебя ли CORE-6269

demon1992
Вряд ли это связано что запросы натыкаются на устаревшие верси...
...после свипа все начинает работать
Да, конечно, это просто БД такая вредная попалась, свип ей нравится - а версий нет и не было никогда.

demon1992
за сутки апдейтится максимум записей 200-500
Если ты на каждой записи накапливаешь тысячи бекверсий, да ещё и десяток индексов на таблице - жди проблем и на 100 записей.
...
Рейтинг: 0 / 0
30.03.2020, 12:41
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942221
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
demon1992
П.С. На всех базах раз в сутки в ночное время запускается свип.
Вот перед ним и сделай тотальный дисконнект. Что приведет к уничтожению всех версий, они станут мусором и свип их штатно соберет.
Открою страшную тайну (впрочем известную в зазеркалье каждому ребенку) - свип не собириает версии, только мусор.
demon1992
Это вообще нормальное поведение
Нормальное.
...
Рейтинг: 0 / 0
30.03.2020, 13:16
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942243
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
hvlad
И проверься - не про тебя ли CORE-6269

Это проверю сейчас.
hvlad
Если ты на каждой записи накапливаешь тысячи бекверсий, да ещё и десяток индексов на таблице - жди проблем и на 100 записей.

Да, ты прав насчет этого, у меня по крону табличка с 50-ю записами апдейтится какждую минуту, поэтому сколько там версий копится за пару суток, боюсь представить.
Ivan_Pisarevsky
Вот перед ним и сделай тотальный дисконнект. Что приведет к уничтожению всех версий, они станут мусором и свип их штатно соберет.
Открою страшную тайну (впрочем известную в зазеркалье каждому ребенку) - свип не собириает версии, только мусор.

Я понимаю как работает свип, возможно неправильно выразился я, или ты не так понял.
Дисконнект всех делать нельзя, база используется круглосуточно.
...
Рейтинг: 0 / 0
30.03.2020, 14:19
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942283
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
30.03.2020 14:19, demon1992 пишет:
> Дисконнект всех делать нельзя, база используется круглосуточно.

пересмотри практику работы с транзакциями в своих программах.
версии держат долгоживущие.
(об исключениях не говорим)
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
30.03.2020, 15:54
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942285
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
Мимопроходящий

пересмотри практику работы с транзакциями в своих программах.
версии держат долгоживущие.
(об исключениях не говорим)

Долгоживущих транзакций нет, бывают только хвосты от ibe, когда разработчика дисконектило во время незакоммиченной транзакции, я к сожалению мониторить это нон стоп не могу.

Сейчас по совету Влада проверил последний снапшот, выставил в конфиге DummyPacketInterval = 600, сделал через ibe селект, отключил инет, транзакция осталась висеть, через полчасика проверил, коннект с транзакцией закрыт уже, что меня устраивает.
...
Рейтинг: 0 / 0
30.03.2020, 16:04
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942287
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
30.03.2020 16:04, demon1992 пишет:
> Долгоживущих транзакций нет

ха=ха
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
30.03.2020, 16:06
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942300
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Ivan_Pisarevsky
Участник
demon1992
Дисконнект всех делать нельзя, база используется круглосуточно.
Наверняка можно грохнуть все коннекты, где транзакция стратовала Х часов назад.
demon1992
отключил инет, транзакция осталась висеть
что мешает настроить штатный инструмент keepalive?
demon1992
бывают только хвосты от ibe, когда разработчика дисконектило во время незакоммиченной транзакции, я к сожалению мониторить это нон стоп не могу.
Еще раз медленно: это мониторит keepalive. на ibase есть вменяемая статья по настройке указанного механизма.
...
Рейтинг: 0 / 0
30.03.2020, 16:55
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942312
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
Мимопроходящийпересмотри практику работы с транзакциями

В данном случае лучше пересмотреть практику работы с данными. Если они обновляются раз в
минуту - их лучше вынести в какой-нибудь in-memory движок.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
30.03.2020, 17:34
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942314
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
Ivan_Pisarevsky,
Так ответил же, что параметр DummyPacketInterval на новом снапшоте отработал нормально, прибил коннект как я того и хотел. На 3.0.5 этот параметр эффекта не давал, по крайней мере на Linux.
...
Рейтинг: 0 / 0
30.03.2020, 17:37
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942386
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
demon1992
Сейчас по совету Влада проверил последний снапшот, выставил в конфиге DummyPacketInterval = 600, сделал через ibe селект, отключил инет, транзакция осталась висеть, через полчасика проверил, коннект с транзакцией закрыт уже, что меня устраивает.

Кстати, сервак этот самый зависший коннект прибил, но счетчик OIT завис, и двинулся только когда я сделал свип.
Т.е. получается версии все равно будут копиться?
...
Рейтинг: 0 / 0
30.03.2020, 23:41
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942394
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
demon1992счетчик OIT завис, и двинулся только когда я сделал свип.

У тебя автосвип отключен?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
31.03.2020, 00:26
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942398
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
demon1992
Т.е. получается версии все равно будут копиться?
OIT не удерживает версии.
Их удерживает OST.
OIT вляет на размер активной части TIP.
...
Рейтинг: 0 / 0
31.03.2020, 01:35
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942402
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
demon1992,

есть еще вариант - скриптом рубить коннекты через mon$, в которых ИБЕ висит больше 2-3 часов. Или транзакция из ибе активна столько.
Понятно, что это костыль, но такое удобно там, где есть legacy приложения с длинными транзакциям, или без исходников, или переписать уже невозможно.
...
Рейтинг: 0 / 0
31.03.2020, 02:10
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942436
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
Dimitry Sibiryakov

У тебя автосвип отключен?

Отключен.

Спасибо всем за ответы.
...
Рейтинг: 0 / 0
31.03.2020, 09:30
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942511
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
demon1992Отключен.

ССЗБ.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
31.03.2020, 12:36
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942535
KreatorXXI
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
KreatorXXI
Участник
зависшых
Тему бы поправили, а? Глаз режет! Первый класс, "жи, ши пиши через и".
...
Рейтинг: 0 / 0
31.03.2020, 14:02
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942537
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry Sibiryakov,

поскольку я уже забодался тебе объяснять про вред автосвипа в 20к, давай я напомню, что автосвип 20к был установлен в каком году? Ну хотя бы в 1994 (но на самом деле еще раньше).
Сейчас, при интенсивности в сотни тысяч и миллионы транзакций в сутки, автосвип может срабатывать по нескольку раз в день.
У меня есть логи, там автосвип сработал 8 (восемь!) раз за сутки. К счастью, это было на ФБ 3, и свип там был не "первый после рестора или массового изменения БД".

Так вот, актуализируй, пожалуйста, вменяемое значение автосвипа (для 2.5, к примеру), для нынешних условий.
gfix db.fdb -h ?????
...
Рейтинг: 0 / 0
31.03.2020, 14:05
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942541
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
Автосвип я не буду настраивать хотя бы потому, что я должен видеть проблему, если что-то начало работать не так.
...
Рейтинг: 0 / 0
31.03.2020, 14:14
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942547
Мимопроходящий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Мимопроходящий
Участник
31.03.2020 14:14, demon1992 пишет:
>
> Автосвип я не буду настраивать хотя бы потому, что я должен видеть проблему, если что-то начало работать не так.
>

слона то я и не приметил...
(С)

Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
31.03.2020, 14:26
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942552
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdvСейчас, при интенсивности в сотни тысяч и миллионы транзакций в сутки, автосвип
может срабатывать по нескольку раз в день.
У меня есть логи, там автосвип сработал 8 (восемь!) раз за сутки.
Дим, ну хоть ты-то не бредь. Твои "сотни тысяч и миллионы транзакций в сутки" - вещь
совершенно исключительная, пересчитать которую можно по пальцам одной руки. Править на её
основе умолчательное значение - плохая идея.

И ты не хуже меня знаешь, что случаи когда "автосвип сработал" (а тем более восемь раз в
сутки) - исключительно на совести разработчиков приложений. Отключение автосвипа при этом
приводит как раз к данному топику, поскольку вместо маленького северного лиса восемь раз в
сутки - к этим рукожопам раз в неделю приходит гигантский.

kdvТак вот, актуализируй, пожалуйста, вменяемое значение автосвипа (для 2.5, к
примеру), для нынешних условий.
gfix db.fdb -h ?????
Конкретно для 2.5 я бы поостерёгся ставить больше тысячи. И даже для тройки это тоже риск.
Особенно на нагруженной базе. Поскольку рестарт сборки мусора при конкурентном доступе
починен только в четвёрке и чем больше версий накопилось к моменту автосвипа - тем больше
вероятность получить бесконечный цикл.

demon1992я должен видеть проблему, если что-то начало работать не так.

Проcмотреть раз в сутки firebird.log на предмет сообщений об автосвипе и прочих "что-то не
так" - выше твоих способностей? Купи, вон, у Димы ДатаГварда, он будет делать это за тебя.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
31.03.2020, 14:39
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942555
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry SibiryakovТвои "сотни тысяч и миллионы транзакций в сутки" - вещь
совершенно исключительная, пересчитать которую можно по пальцам одной руки.
ты сильно отстал от жизни. 100к транзакций в сутки - это мелкоактивная база нынче.

дальше даже не буду комментировать.
...
Рейтинг: 0 / 0
31.03.2020, 14:45
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942561
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
demon1992
Гость
Dimitry Sibiryakov
Проcмотреть раз в сутки firebird.log на предмет сообщений об автосвипе и прочих "что-то не
так" - выше твоих способностей?

Как мне это поможет решить/отследить проблему? Очень интересно услышать.
...
Рейтинг: 0 / 0
31.03.2020, 15:00
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942571
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry Sibiryakov,

вот, к примеру. Одна из самых чахлых сопровождаемых баз.
2.3 гиг, 15 юзеров в пике, 27к транзакций за рабочий день.
В принципе, на такой базе автосвип можно и не отключать.
А вот чуть побольше размер и юзеров - будут периодические тормоза из-за автосвипа.
...
Рейтинг: 0 / 0
31.03.2020, 15:23
| Ответить | Цитировать | Написать  
Тормоза сервера при зависшых транзакциях
    #39942584
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
hvlad
Участник
Dimitry Sibiryakov
Дим, ну хоть ты-то не бредь
Не часто встретишь такую просьбу к самому себе - в публичном пр-ве ;)
+100500
...
Рейтинг: 0 / 0
31.03.2020, 16:15
| Ответить | Цитировать | Написать  
25 сообщений из 32, страница 1 из 2
  1  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Тормоза сервера при зависшых транзакциях
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&fpage=15&tid=1560399]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 4ms
check topic access:
 4ms
track hit:
 41ms
get topic data:
 11ms
get forum data:
 2ms
get page messages:
 56ms
get tp. blocked users:
 1ms
others: 15ms
total:  158ms
созд. / загр.: 158ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]