ReSQL.ru
     
powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Бесконечный sweep sweep
25 сообщений из 82, страница 2 из 4
  2  все
Бесконечный sweep sweep
    #39891981
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Basil A. Sidorov
Да, FB 2.5 всегда прочитает все страницы, но в чём проблема проверить на копии базы?

В штатном режиме эта операция происходит за 20 минут.
Но я так заметил, что время от времени бывают нештатные.
P.S. у меня 3.0.4. С 2.5 не работал никогда, перепрыгнул с 2.1
Basil A. Sidorov
Я уж молчу
Ну а что тут говорить, это очевидно.
...
Рейтинг: 0 / 0
20.11.2019, 19:03
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39891988
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
hvlad
Что научить ?

Это:
hvlad
искать в ней проблемные таблицы ?

:)

Как мне по статистике определить, что таблица проблемная? Реально в гугле не нашел.
Единственное, что нашел - Index depth не должна превышать 3, хотя это спорно как по мне, но у меня так и есть.

hvlad
И какое отношение она имеет к реальной БД с реальными проблемами ?
Не имеет, так не имеет.
...
Рейтинг: 0 / 0
20.11.2019, 19:11
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39891992
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
YuRock,

база 35 гиг, и там 250к записей? Не сходится.
default Sweep interval на такой базе - это прекрасно.

Предположение, что "нет активных транзакций", работает только на однопользовательских системах и приложениях, и то не всегда.
Случаев, когда "транзакция застряла" можно привести массу:
- юзер бросил приложение на редактировании формы и ушел домой
- процесс классика завис
- Админ выполнил запрос в IBExpert, и тут же уснул
- внешнее приложение (1с, экспорт-импорт, или какое-нибудь старьё) подключилось к базе, и висит с активной транзакцией

и т.д. Постепенно начинаются тормоза. Админ думает - дай-ка я всех рубану. Транзакция "отвисает", все подключаются, и ... начинают собирать мусор! Потому что "кому-то нужные версии" вдруг стали мусором. И еще вдруг может начаться авто-свип (просто совпало). И тормоза становятся еще хуже.
...
Рейтинг: 0 / 0
20.11.2019, 19:14
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892001
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
YuRockКак мне по статистике определить, что таблица проблемная? Реально в гугле не нашел.
количество записей и количество версий же.
Код: plaintext
1.
2.
3.
4.
COUNTRY (128)
    Primary pointer page: 182, Index root page: 183
    Total formats: 1, used formats: 1
    Average record length: 25.94, total records: 16
    Average version length: 0.00, total versions: 0, max versions: 0

Если у тебя нет IBAnalyst (HQbird), так получи статистику в ибэксперте, там тоже данные в виде таблички выводятся.
И смотришь, есть-ли версии, и насколько их много относительно записей.
Только статистику надо собирать несколько раз за день, и потом сравнивать - утром, до обеда, после обеда, вечером до окончания рабочего дня, и после.

И всё равно это не даст 100% гарантии отсутствия "застрявших транзакций", про которые я уже написал тут 22021192
...
Рейтинг: 0 / 0
20.11.2019, 19:19
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892009
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
kdv
база 35 гиг, и там 250к записей? Не сходится.
Это не единственная таблица. В базе еще много больших таблиц (с десяток, которые в десятки и сотни раз больше).
Но эта - единственная, в которой регулярно удаляется много записей.

Вернее, есть еще одна (с узкими записями - только числовые айдишники), но её обычное состояние - около нуля записей. Добавились, обработались и потом удалились, когда больше не нужны.
Из-за нее, конечно, тоже могут быть проблемы. Мусорных версий в ней много бывает, естественно.

kdv
Случаев, когда "транзакция застряла" можно привести массу

Это понятно. Но бывают, и я это знаю, случаи, когда везёт, и во время SELECT COUNT никого нет.
А даже если есть - на таблице в 250к записей это не долго раз в день.

kdv
default Sweep interval на такой базе - это прекрасно.

kdv
Админ думает - дай-ка я всех рубану. Транзакция "отвисает", все подключаются, и ... начинают собирать мусор! Потому что "кому-то нужные версии" вдруг стали мусором. И еще вдруг может начаться авто-свип (просто совпало). И тормоза становятся еще хуже.

Это всё понятно, я собираюсь отключить там автосвип и настроить запуск по расписанию.
Боюсь только того, что он может не успеть до утра - что тогда делать, не знаю.
А так же я хочу останавливать службу FB перед этим, чтобы гарантированно выкинуть всех, включая SYSDBA - и тоже боюсь, что не получится остановить (зависнет при остановке), как в моем примере.
...
Рейтинг: 0 / 0
20.11.2019, 19:27
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892012
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
kdv
Если у тебя нет IBAnalyst (HQbird), так получи статистику в ибэксперте, там тоже данные в виде таблички выводятся.
И смотришь, есть-ли версии, и насколько их много относительно записей.
Спасибо! Теперь понял значение некоторых цифр, выдаваемых gstat.
...
Рейтинг: 0 / 0
20.11.2019, 19:31
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892014
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
YuRockЭто всё понятно, я собираюсь отключить там автосвип и настроить запуск по расписанию.

"Уже смешно." (с)

Ты уже выяснил предварительно как часто там запускается этот самый автосвип сейчас?

YuRockБоюсь только того, что он может не успеть до утра - что тогда делать, не знаю.

"Готовить три конверта." (с)

Ты так говоришь, будто свип монополизирует базу и кроме него с ней никто не может работать.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.11.2019, 19:35
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892015
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
YuRock
Это всё понятно, я собираюсь отключить там автосвип и настроить запуск по расписанию.
Боюсь только того, что он может не успеть до утра - что тогда делать, не знаю.
Делаете бэкап, восстанавливаете его на отдельном компе и запускаете sweep - получаете время сборки мусора в худшем случае.
Можете и на том же самом компе и даже выделив для тестовой базы мизерный страничный кэш.А так же я хочу останавливать службу FB перед этим, чтобы гарантированно выкинуть всехОх уж эти хирурги, всё бы им резать ...
 
... вот тебе таблетка - само отвалится
Код: plaintext
1.
2.
3.
usage: gfix [options] <database>
   -fo(rce_shutdown)    force database shutdown
   -o(nline)            database online <single / multi / normal>
   -sh(utdown)          shutdown < full  / single / multi>
...
Рейтинг: 0 / 0
20.11.2019, 19:36
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892017
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Dimitry Sibiryakov
YuRockЭто всё понятно, я собираюсь отключить там автосвип и настроить запуск по расписанию.

"Уже смешно." (с)

Ты уже выяснил предварительно как часто там запускается этот самый автосвип сейчас?Запускается регулярно, раз в несколько дней. Но бывают и затыки, как в этот раз. Но так долго он не выболняетя обычно, тормоз в пределах 30 минут - и всё. И не факт, что днем - нагрузка от времени суток почти не зависит, основные клиенты пул соединений репликатора.

Dimitry Sibiryakov
Ты так говоришь, будто свип монополизирует базу и кроме него с ней никто не может работать.

К сожалению, фактически так и есть. Диск во время свипа грузится на 100%.
...
Рейтинг: 0 / 0
20.11.2019, 19:40
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892021
Basil A. Sidorov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Basil A. Sidorov
Участник
YuRock
Диск во время свипа грузится на 100%.
Виртуалка?
Устройста эмулируемые или синтетические?
...
Рейтинг: 0 / 0
20.11.2019, 19:42
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892025
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
YuRockЗапускается регулярно, раз в несколько дней.

Именно auto -sweep? Уверен? Как выяснил?

YuRockДиск во время свипа грузится на 100%.
Какой именно процесс и какие именно файлы при этом читает-пишет с помощью resmon/iotop
выяснил?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.11.2019, 19:49
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892027
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Basil A. Sidorov
Ох уж эти хирурги, всё бы им резать ...вот тебе таблетка - само отвалится
Код: plaintext
1.
usage: gfix [options] <database>
   -sh(utdown)          shutdown < full  / single / multi>

И давно gfix -shutdown научилось выгонять и запрещать доступ для SYSDBA?
...
Рейтинг: 0 / 0
20.11.2019, 19:50
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892028
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Dimitry SibiryakovТы уже выяснил предварительно как часто там запускается этот самый автосвип сейчас?
Дима, завязывай ты с этой борьбой за авто-свип :-)
ты никогда не знаешь, что некая транзакция завершится роллбэком, что есть активные транзакции или нет их, и какая в данный момент загрузка сервера.
Поэтому автосвип - это рулетка, от которой надо избавляться.
Кроме того, как и многие другие параметры, sweep interval = 20000 был придуман уж точно лет 25 назад.
А какой должен быть автосвип сейчас, и при какой интенсивности транзакций - я не берусь предсказать.

Допустим, есть база в 35 гиг, ФБ 3, и там половина страниц swept=0. Допустим, если вдруг запустить свип, и он начнет чесать эти пол-базы, со скоростью 50мб/сек, это займёт минут 6, без юзеров. Ну и нафиг мне нужны эти внезапные тормоза? А если сейчас пик дня, это уже будет не 6 минут, а 30 минут. И? Операторы заказы оформляют, товары отгружают, а тут вдруг авто-свип пришёл...

p.s. на ФБ 2.5 и базе в 250 гиг свип ночью шел 1.5 часа. Попробуй его днем запустить, при 600 активных юзерах. Он и через сутки не кончится.
p.p.s. для мелких ненагруженных баз автосвип - сколько угодно.
...
Рейтинг: 0 / 0
20.11.2019, 19:50
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892029
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Basil A. Sidorov
YuRock
Диск во время свипа грузится на 100%.
Виртуалка?
Да, в облаке в каком-то у них база.
Basil A. Sidorov

Устройста эмулируемые или синтетические?
Я не разбираюсь в "железе", если честно.
...
Рейтинг: 0 / 0
20.11.2019, 19:51
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892031
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
Basil A. Sidorovполучаете время сборки мусора в худшем случае.
не, это будет псевдо-идеальный случай, потому что после рестора мусора нет, и собирать там нечего, свип просто потратит время на проверку "ничего" и выставление swept_flag = 1 (вся БД будет перезаписана).
YuRockДиск во время свипа грузится на 100%.
надо проверить очередь диска. я так полагаю, там будет полный кабздец.
...
Рейтинг: 0 / 0
20.11.2019, 19:55
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892032
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Dimitry Sibiryakov
YuRockЗапускается регулярно, раз в несколько дней.

Именно auto -sweep? Уверен? Как выяснил?
1. Вызов gfix -sweep не настроен;
2. sweep interval установлен в 20k;
3. Обычно next-old редко и ненадолго превышает 20k (не без затыков, повторюсь, сейчас было 100к).
4. Кол-во транзакций в день - минимум 10000.


Dimitry Sibiryakov
YuRockДиск во время свипа грузится на 100%.

Какой именно процесс и какие именно файлы при этом читает-пишет с помощью resmon/iotop
выяснил?
Конечно. Монитор ресурсов показал, что firebird.exe.
...
Рейтинг: 0 / 0
20.11.2019, 19:55
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892034
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
kdv
Basil A. Sidorovполучаете время сборки мусора в худшем случае.

не, это будет псевдо-идеальный случай, потому что после рестора мусора нет, и собирать там нечего, свип просто потратит время на проверку "ничего" и выставление swept_flag = 1 (вся БД будет перезаписана).
YuRockДиск во время свипа грузится на 100%.
надо проверить очередь диска. я так полагаю, там будет полный кабздец.Очередь диска при этом стабильно была равна ~1. Это не хорошо, конечно, но я видел и хуже :)
...
Рейтинг: 0 / 0
20.11.2019, 19:58
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892036
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
YuRock3. Обычно next-old редко и ненадолго превышает 20k (не без затыков, повторюсь, сейчас было
100к).

Это не может запустить автосвип.

YuRockМонитор ресурсов показал, что firebird.exe.
В отличии от Менеджера Задач, Монитор показывает данные с точностью до файла и скорости
обмена. Так какой именно файл этот процесс вводил-выводил и с какой скоростью?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.11.2019, 20:01
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892038
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Dimitry Sibiryakov
Это не может запустить автосвип.

Что "это"?
Мой пост на форуме?

Dimitry Sibiryakov
Так какой именно файл этот процесс вводил-выводил и с какой скоростью?

Я таких подробностей не помню уже.
...
Рейтинг: 0 / 0
20.11.2019, 20:03
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892039
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
kdvзавязывай ты с этой борьбой за авто-свип :-)

Ты не врубаешься: я борюсь не за него, а против плясок с бубном уровня "стекло протереть,
по колёсам попинать".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.11.2019, 20:04
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892040
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
kdv
Участник
YuRock,

очередь 1 - это норм.
кто-нибудь измерял этот диск хотя бы crystaldiskmark-ом, или еще чем?

p.s. не норм - очередь выше 1. 1 означает, что в общем диск успевает, но как только он "успел", тут же приходит новая команда.
А что такое "загрузка диска 100%"? Это эквивалент очереди 1? и что, при очереди 3 тогда будет 300%? или 100%?
...
Рейтинг: 0 / 0
20.11.2019, 20:09
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892041
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Dimitry Sibiryakov
Участник
YuRockЧто "это"?

Отквоченное. "next-old".
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
20.11.2019, 20:11
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892043
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Симонов Денис
Участник
Arioch,

создай табличку с 10 полями влей в неё 1000000 записей, потом удали все записи. Собери мусор и засеки время.

А теперь снова влей в таблицу 1000000 записей, создай к ней 10 индексов. Удали все записи. Собери мусор и сравни время.

Подумай почему такая разница.
...
Рейтинг: 0 / 0
20.11.2019, 20:13
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892044
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
kdv
кто-нибудь измерял этот диск хотя бы crystaldiskmark-ом, или еще чем?
Я не админ и не знаю админов этого клиента.
kdv
А что такое "загрузка диска 100%"? Это эквивалент очереди 1?

Не знаю. Монитор диаграмму показывает.
...
Рейтинг: 0 / 0
20.11.2019, 20:16
| Ответить | Цитировать | Написать  
Бесконечный sweep sweep
    #39892045
YuRock
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
YuRock
Участник
Dimitry Sibiryakov
YuRockЧто "это"?

Отквоченное. "next-old".И что же тогда может, если не это?
...
Рейтинг: 0 / 0
20.11.2019, 20:16
| Ответить | Цитировать | Написать  
25 сообщений из 82, страница 2 из 4
  2  все
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Бесконечный sweep sweep
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение
NoSQL.ru       Новости, Чат       Фотоальбом: Участники, Встречи
Закрыть
start [/forum/topic.php?fid=40&msg=39891988&tid=1560510]:
 0ms
get settings:
 10ms
get forum list:
 13ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 54ms
get topic data:
 8ms
get forum data:
 2ms
get page messages:
 59ms
get tp. blocked users:
 1ms
others: 270ms
total:  423ms
созд. / загр.: 423ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]