powered by simpleCommunicator - 2.0.48     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Мониторинг - статистики
25 сообщений из 43, страница 1 из 2
Мониторинг - статистики
    #40122895
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Код: sql
1.
MON$IO_STATS.MON$PAGE_WRITES - Количество записанных (write) страниц базы данных.


За какое время?

И чем PAGE_READS отличается от PAGE_FETCHES?
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40122901
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky
Код: sql
1.
MON$IO_STATS.MON$PAGE_WRITES - Количество записанных (write) страниц базы данных.



За какое время?

И чем PAGE_READS отличается от PAGE_FETCHES?
С момента старта БД.
Read - промах в кеше, чтение страницы с диска.
Fetch - попадание в кеш при обращении к странице.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40122902
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Спасибо!

А что такое старт БД и как его увидеть?

P.S.
Время старта - это ведь не время создания, нет?

У меня база 44 Гб (страница 16Кб), и статистика PAGE_WRITES = 500. И постепенно растет, да. Но 500 * 16Кб = 8 Мб, но никак не 44Гб. Или что, или как? База создана с нуля, потом набивалась данными.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40122904
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky,

первый коннект
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40122905
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Первый коннект после отсутствия коннектов? А, ну тогда понятно.

Спасибо!
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123201
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Остался интересный вопрос.

Как узнать время старта базы?
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123220
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky,

никак. мог быть самый первый коннект, после него еще 10, а потом первый отваливается, и ... всё. Статистика существует дольше, чем самый старый коннект на этот момент.
А зачем это надо? Какая в этом может быть, так сказать, положительная мулька?
Можно, например, регулярно торкать fb_lock_print и смотреть на Owners (кол-во коннектов), рисуя при этом график.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123230
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

Ну как зачем? Вот я смотрю PAGE_WRITES, пытаясь оценить интенсивность накопления/обновления данных, и вижу значение 500. О чем мне это говорит? Да ни о чем. А вот 500 страниц/час, или 500 страниц/сек, или 500 страниц/сутки - совсем другое дело. Можно и предсказания сделать какие-никакие. Зная время старта, я могу вычислить удельные величины. Или сам сервер пусть вычисляет, отдавая PAGE_WRITES/сек.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123232
Фотография Старый плюшевый мишка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky
kdv,

Ну как зачем? Вот я смотрю PAGE_WRITES, пытаясь оценить интенсивность накопления/обновления данных, и вижу значение 500. О чем мне это говорит? Да ни о чем. А вот 500 страниц/час, или 500 страниц/сек, или 500 страниц/сутки - совсем другое дело. Можно и предсказания сделать какие-никакие. Зная время старта, я могу вычислить удельные величины. Или сам сервер пусть вычисляет, отдавая PAGE_WRITES/сек.


Бывает ложь, наглая ложь и статистика. Сегодня 500 коннектов преимущественно читали, завтра бух запустил формирование оборотных ведомостей за квартал, а финансовый аналитик - своих прогнозных расчётов.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123252
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Старый плюшевый мишка,

От том и речь. Ничего из интегральной статистики не понять, а из дифференциальной кое-что понять можно.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123346
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyanskyпытаясь оценить интенсивность накопления/обновления данных
это не туда надо смотреть. А например в bytes written в перфмоне (виндовом, на линуксе х.з.). По крайней мере там как раз будут данные с "самого первого коннекта к БД".
Но если "разрывы" коннектов есть, то и таким образом тоже полноценную картину не получить. Это надо на уровне ОС включать счетчики, и мониторить их уже там.

Таблицы мониторинга это снимок текущего состояния сервера. Они в памяти. Сервер никуда их не складирует, и при отсутствии коннектов к БД "там" ничего нет.
Если надо - делайте свою службу, которая будет раз в 5 минут круглые сутки скидывать page writes и другое куда-нибудь. Главное только делать коннект-получение_данных_дисконнект :-)
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123375
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Понятно, надо огород городить. Я просто запустил некое обновление одной процедурой, а оно что-то неожиданно для меня затянулось. Ну я и полез в мониторинг в надежде посмотреть, что происходит, как там обновляется, и обновляется ли вообще. Увидел, но только примерно зная время старта, или потом делая новые снимки, чтобы подсчитать разницу.

Короче, я спросил, мне ответили, спасибо!
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123378
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky
Понятно, надо огород городить. Я просто запустил некое обновление одной процедурой, а оно что-то неожиданно для меня затянулось. Ну я и полез в мониторинг в надежде посмотреть, что происходит, как там обновляется, и обновляется ли вообще. Увидел, но только примерно зная время старта, или потом делая новые снимки, чтобы подсчитать разницу.

Короче, я спросил, мне ответили, спасибо!


процедурка может и сама делать suspend с временем, счетчиками и ходом прогресса
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123380
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky,

божечки мои. берешь эту базу на тестовый стенд (нбэкапом или еще как), открываешь коннект, запускаешь процедуру, и смотришь page writes хоть процедуры, хоть коннекта. Понятно что тут не будет видно влияния вытеснения кэша конкурирующими коннектами, но всё-таки. Но если это классик или суперклассик, то данные будут точными, хоть в многопользовательском режиме.
С супером - да, в многоюзерском будет не так точно. Но минимум отловить точно можно.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123381
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pastor,

Может, конечно, может. Это и есть огород, который надо вскопать заранее. А иногда ничего не предвещало такую потребность, а посмотреть вдруг хочется. Или вообще чужой огород. На то вроде и даны системные инструменты.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123384
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky,

фигню ты считаешь. Ну допустим статистика даже не будет интегральной. Что это даст?
Ну записал ФБ 500 страниц. Во первых эти страницы могут быть одни и те же. Во вторых на странице мог поменяться один жалкий байтик в одной записи. То есть само количество записанных страниц ничего не говорит об интенсивности роста БД. Вот нагрузку на дисковую систему можно оценить
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123386
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdv,

Вы описываете отладку, настройку, исследование и т.п. Там все можно и нужно, и можно заранее предусмотреть, и соломки (датчики, счетчики) подстелить. А я смотрю на текущий рабочий процесс, которому ничего заранее не подстелено, но посмотреть, что там внутри деется, все же хочется. И по результату смотрения принять решение, может его (процесс, процедуру) зациклило, ввело в ступор, и давно уже прерывать пора.

Причем процедура идет в одной транзакции, поэтому никаким иным sql-способом, кроме мониторинга, увидеть изменения я не могу.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123387
pastor
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky
pastor,

Может, конечно, может. Это и есть огород, который надо вскопать заранее. А иногда ничего не предвещало такую потребность, а посмотреть вдруг хочется. Или вообще чужой огород. На то вроде и даны системные инструменты.


тебе системный инструмент или проблему порешать?
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123391
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
pastor,

Проблему решить. Запущена процедура, долго не возвращается. Известно, что процедура проводит обновления в определенной таблице. Надо принять решение - прерывать её и дальше разбираться, или все-таки ждать завершения? Ваши действия? Времена - единицы суток. То есть, если прервать, пара суток коту под хвост.

Да, теперь понял, не надо так делать, надо набольшими порциями отдельными транзакциями. Но ничего такие времена не предвещало.

По факту увидел, что PAGE_WRITES растет, дождался завершения, 72 часа.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123392
Фотография Старый плюшевый мишка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyansky
kdv,

Вы описываете отладку, настройку, исследование и т.п. Там все можно и нужно, и можно заранее предусмотреть, и соломки (датчики, счетчики) подстелить. А я смотрю на текущий рабочий процесс, которому ничего заранее не подстелено, но посмотреть, что там внутри деется, все же хочется. И по результату смотрения принять решение, может его (процесс, процедуру) зациклило, ввело в ступор, и давно уже прерывать пора.

Причем процедура идет в одной транзакции, поэтому никаким иным sql-способом, кроме мониторинга, увидеть изменения я не могу.



Приходит студент в деканат.
- Здравствуйте, естественный процесс, ребёнок у меня родился. Дайте пожалуйста пособие.
На следующий год опять.
- Здравствуйте, естественный процесс, ребёнок у меня родился. Дайте пожалуйста повышенную стипендию.
На третий год.
- Здравствуйте, естественный процесс...
- Стоп-стоп-стоп. Вот посмотрите в окно - видите, дождь идёт, естественный процесс. Так люди галоши надевают!


Чтоб интерес к соломке не появлялся неожиданно, люди обычно планы запросов при сочинении процедурок в ей смотрят-проверяют, простым препаре, без фетча. Дёшево и сердито.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123399
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Старый плюшевый мишка,

Уверяю вас, все просмотрено-проверено, в плане планов все путем. У меня не селекты, а апдейты, в довольно длинные записи вставляется некое значение, за которым процедура идет в другую базу этого же сервера через execute statement external. В планах этих внешних запросов тоже все неплохо. Firebird 4.0, пул коннектов включен. Я рассчитывал на пару часов, оказалось 3 суток. Плохо рассчитал, что тут скажешь. Кроме планов, есть, видать, и другие важные знания.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123400
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyanskyУверяю вас, все просмотрено-проверено, в плане планов все путем.

Да, да. Мы старательно делаем вид, что верим.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123402
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис
shalamyansky,
Во вторых на странице мог поменяться один жалкий байтик в одной записи. То есть само количество записанных страниц ничего не говорит об интенсивности роста БД

У меня так и есть. Меняется одно жалкое маленькое поле в огромной длины записи. Тем не менее по дифференциальным PAGE_WRITES я могу оценить количество обновленных записей в единицу времени, используя предположение (надеюсь, верное), что при изменении одного поля обновляется вся запись.

Вот только не знаю, как соотносится число измененных записей и число измененных страниц: если изменилось N записей, но все они попали на одну страницу, счетчик обновленных страниц увеличится на 1 или на N? А там ведь еще и индексы, и блобы... Короче, все непросто, но в моем случае очень длинных записей это ошибка в разы, а не на порядки, что приемлемо.
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123403
shalamyansky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry Sibiryakov

Да, да. Мы старательно делаем вид, что верим.

Спасибо! Я вам тоже верю!
...
Рейтинг: 0 / 0
Мониторинг - статистики
    #40123431
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
shalamyanskyЗапущена процедура, долго не возвращается.
ну и, посмотрел в mon, увидел. Зачем тогда какие-то счетчики от рождества христова???
shalamyanskyсчетчик обновленных страниц увеличится на 1 или на N? А там ведь еще и индексы, и блобы
а вот х.з. если кто-то еще в базе молотит, страница может упасть на диск, а потом попадет в кэш еще раз, поэтому получится что количество измененных записей и количество page writes не совпадает.
Но это всё лирика.
Например - в базе внезапные тормоза, работает запрос. В чем причина? Оказалось, что была длинная транзакция (чья-то, х.з.), после чего накопились тонны мусора, кто-то запустил запрос и в это время сработал репликатор (который программно собирает записи по всей базе), и началась адова сборка мусора.
Определили причину трейсом плюс мон.
...
Рейтинг: 0 / 0
25 сообщений из 43, страница 1 из 2
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Мониторинг - статистики
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]