powered by simpleCommunicator - 2.0.59     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
55 сообщений из 55, показаны все 3 страниц
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853564
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hi all

Объясните, плз, чем объяснить "странность" в хронологии загрузки проца и диска, когда идёт тест, имитирующий OLTP-действия, на базе с page=8192, FB SuperClassic, конфиг:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
DefaultDbCachePages = 512
LockHashSlots = 22111
TempCacheLimit = 512M

# actual only in Win, FW = OFF
MaxUnflushedWrites = -1
MaxUnflushedWriteTime = -1

SharedCache = false
SharedDatabase = true

RemoteServicePort = 3330

ExternalFileAccess = Restrict C:\1INSTALL\FBTEST
TempDirectories = c:\temp
MaxUserTraceLogSize = 99999
FileSystemCacheThreshold = 65536K

AuthServer = Legacy_Auth,Srp
AuthClient = Legacy_Auth,Srp,Win_Sspi
WireCrypt = Disabled
UserManager = Legacy_UserManager

BugcheckAbort = 1

Почему ЦПУ и диск уходят на перекур строго одновременно ?

ЗЫ. На машине, увы, только 1 гб рам, число аттачей = 30.
Private bytes показывает 1.08 Гб, working set - 520 Мб.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853571
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Чтобы дать ответ на этот вопрос, нужно знать особенности твоего
теста, что там делается/происходит (как минимум, в концовке).
При чём это могут быть как "твои" действия, так и фоновые
серверные (очистки там и освобождения всякие).
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853578
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гаджимурадов Рустам,

у меня было только 1 подозрение: что все коннекты как-то сразу завершаются, а затем снова лезут в базу.
Но!
1) я перед тестом даю каждому из них разную стартовую паузу, от 2 до 20 сек;
2) они все выполняют разный объем работы, на каждом EB это - некоторая ХП, случайно выбираемая из фиксированного перечня (их примерно 20, процедур этих), да и затем там параметры заполнения док-тов тоже случайным образом выбираются, из некоторого диапазона;
3) никогда не видел такого на линухе.

> (очистки там и освобождения всякие).

может ли как-то влиять то, что Private Bytes стало больше 1 Гб, т.е. физической памяти, и лезет в своп ?
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853584
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид> может ли как-то влиять то, что Private Bytes стало
Таблоид> больше 1 Гб, т.е. физической памяти, и лезет в своп ?

Наверное, может, ХЗ, но это должно влиять на IO в основном, а не CPU.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853594
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я врубил трейс на некоторое время (правда, он сам начал вносить коррективы в график, но это понятно).
Конфиг его сделал максимально подробным.
trace.conf
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
database = (%[\\/](sqlex30|oltp30%|%tmp%|%test%).fdb)|(sqlex30%|oltp30%|%tmp%|%test%)
{
  enabled = true
  log_sweep = true
  log_errors = true

  ####################   A C H T U N G  ##############
  time_threshold = 0
#  exclude_filter = %execute block%
#  include_filter = %from v_rand%
#  connection_id=18

  #exclude_filter = %(SELECT)%
  #include_filter = %(DELETE)%
  ####################################################
#  log_context = true
  log_connections = true
  log_transactions = true

  log_statement_prepare = true
  log_statement_free = true
  log_statement_start = true

  log_trigger_start = true
  log_procedure_start = true
  log_function_start = true

  log_statement_finish = true

  log_procedure_finish = true
  log_function_finish = true
  log_trigger_finish = true

#  print_plan = true
#  explain_plan = true
  print_perf = true
#  max_sql_length = 16384
#  max_log_size = 9999999999

} 
Поймал паузу, вот она:
trace.log
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
2015-01-13T20:06:16.1400 (1696:01F0CC68) EXECUTE_FUNCTION_START

	oltp30 (ATT_104, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:4000

		(TRA_89676, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_MCODE_FOR_OPER:

param0 = bigint, "2000"





2015-01-13T20: 06:16 .1400 (1696:01F0CC68) EXECUTE_FUNCTION_FINISH

	oltp30 (ATT_104, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:4000

		(TRA_89676, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_MCODE_FOR_OPER:

param0 = bigint, "2000"



returns:

param0 = varchar(12), "SUP"



      0 ms



2015-01-13T20: 07:18 .0620 (1696:01F0F6D0) EXECUTE_FUNCTION_START

	oltp30 (ATT_124, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2760

		(TRA_91067, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_OPER_ORDER_BY_CUSTOMER:



2015-01-13T20:07:18.0620 (1696:01F0F6D0) EXECUTE_FUNCTION_FINISH

	oltp30 (ATT_124, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2760

		(TRA_91067, CONCURRENCY | NOWAIT | READ_WRITE)

Что он там минуту вкуривает - хрен поймешь

Но дальше - еще интереснее. Я вырубил трейс, решил попозжее еще раз повторить трассировку. Однако, не вижу после этого своего вмешательства вообще никаких "горой и пригорков" - см аттач.
ФБ просто прекратил грузить систему, и судя по всему - находится в состоянии "грогги".

Я уже видел такое на винде, не помню только, чем это было вызовано.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853616
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Рестартанул всё, только теперь сделал так, чтобы ФБ никогда не вылезал за 1 гб: уменьшил число аттачей до 25, кеш коннекта до 256 страниц.

Горы и равнины всё равно лезут, правда, "равнины" теперь короче стали по времени.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853648
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

1. файл подкачки в системе есть?
2. уверен, что PE работу с ним отображает в IO-активности?
3. сервер физически доступен, чтобы проверить, шумит ли в реале диск на равнинах?
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853698
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fd00ch1. файл подкачки в системе есть?
2. уверен, что PE работу с ним отображает в IO-активности?
3. сервер физически доступен, чтобы проверить, шумит ли в реале диск на равнинах?1. Есть, 2 Гб
2. Не знаю, как это проверить / настроить ?
3. Это не сервер, а средней паршивости тачка, с цпу 2.2 ггц и рам 1 гб. И единственное, что в ней еще "туда-сюда" - это диск. Там 400 гб, копирование файла идёт со скоростью примерно 45-50 мб/сек.

Кстати. Сейчас снова взглянул на это хоз-во (PE), и вижу: FB 3.0 SC (WI-T3.0.0.31541) тихо крадёт память. Можете сами убедиться, если посмотрите скрин из предыдущего сообщения и сравните с этим: было 800 мб, сейчас - уже больше 900.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853719
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоидкак это проверитья ж написал: приложиться ухом к диску и послушать, не шуршит ли он, когда PE показывает равнину))
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853722
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
... порылся в своих же сусеках, нашёл что-то похожее. Кажись, опять какая-то хренота сидит, не показываемая трейсом 3.0, придётся к ФБ-2.5 за помощью ходить :(

Одно смущает: паузы почти всегда длятся около 1 минуты. Но еще загадочнее то, что последний оператор перед паузой был от коннекта 182, а первый оператор после паузы - от att_183:
молчание с 01:57:18.062 по 01:58:06.390
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
2015-01-14T01:57:18.0620 (1996:01F03CC0) EXECUTE_FUNCTION_START

	oltp30 (ATT_182, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2440

		(TRA_150959, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_OPER_RETAIL_REALIZATION:



2015-01-14T01: 57:18 .0620 (1996:01F03CC0) EXECUTE_FUNCTION_FINISH +++++++++++++++++++ att-182 (paused) ++++++++++

	oltp30 (ATT_18 2 , SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2440

		(TRA_150959, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_OPER_RETAIL_REALIZATION:

returns:

param0 = integer, "3400"



      0 ms



2015-01-14T01: 58:06 .3900 (1996:3D215208) EXECUTE_TRIGGER_START ++++++++++++++++++++ att-183 (waked-up) +++++++++

	oltp30 (ATT_18 3 , SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:3120

		(TRA_151040, CONCURRENCY | NOWAIT | READ_WRITE)

	PERF_LOG_BI FOR PERF_LOG (BEFORE INSERT) 

Первая активность att_182 после того, как он вошел в ступор в момент времени "T01: 57:18 .0620", случилась через 2.5 секунды после того, как очнулся att_183:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
2015-01-14T01:58:08.8900 (1996:01F03CC0) EXECUTE_PROCEDURE_START +++++++++++++++++++++++ att-182 (resumed) ++++++++

	oltp30 (ATT_182, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2440

		(TRA_150959, CONCURRENCY | NOWAIT | READ_WRITE)



Procedure SP_ADD_PERF_LOG:

param0 = smallint, "0"

param1 = varchar(80), "sp_kill_qty_storno_ret_qs2qd"

param2 = integer, "<NULL>"

param3 = varchar(255), "qs->qd, doc=7045937, op=3300, qd cursor: c_ret_qs2qd_by_rcv, rows=63"

param4 = double precision, "<NULL>"

param5 = double precision, "<NULL>"

------------

2 dimitr & hvlad
!
ВЕРНИТЕ.ВЗАД.ПЛАН.ПОКАЗА. КАЖДОГО .СТЕЙТМЕНТА.ВНУТРИ.БЛОКА.КАК.ЭТО.БЫЛО.В.ФБ-2.5
В любом виде. Обзовите это не словом "PLAN", а как-то по-другому, хоть 'F#%&ing Old Bullshit' - пофигу. Когда народ прочухает, ЧЕГО вы отняли в 3.0 - будет сильный шум, ей-богу.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853723
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fd00chТаблоидкак это проверитья ж написал: приложиться ухом к диску и послушать, не шуршит ли он, когда PE показывает равнину))я же не про шуршание спросил, а про показ в РЕ активности с файлом подкачки :-)

А тот диск если бы шуршал, то был бы не 400 гиговым, а 40 :-) /* да и в комнате еще три тачки стоят + кондей. Шумно, чтобы услышать */
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853725
Гаджимурадов Рустам
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид> про показ в РЕ активности с файлом подкачки :-)

Во-первых, именно это ты в PE никак не увидишь.
Только через perfmon, да и то на 100% не уверен в
точности и достоверности. Во-вторых, я бы на эти
цифры особо не ориентировался. Впрочем, это я,
синтетикой особой не увлекаюсь, в отличие от... :)

> /* да и в комнате еще три тачки стоят + кондей. Шумно, чтобы услышать */

На лампучку смотри, она моргает.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853794
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидВЕРНИТЕ.ВЗАД.ПЛАН.ПОКАЗА.КАЖДОГО.СТЕЙТМЕНТА.ВНУТРИ.БЛОКА.КАК.ЭТО.БЫЛО.В.ФБ-2.5

не в коем разе. Такой анализ нужен, но делаться он должен не так
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853801
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисТаблоидВЕРНИТЕ.ВЗАД.ПЛАН.ПОКАЗА.КАЖДОГО.СТЕЙТМЕНТА.ВНУТРИ.БЛОКА.КАК.ЭТО.БЫЛО.В.ФБ-2.5Такой анализ нужен, но делаться он должен не такСейчас ты его вообще НИКАК не сделаешь. Так что лучше пусть хоть что-то лезет, по "спецключу" в конфиге трейса или как-то еще. Иначе - кердык всем поискам щастья.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853803
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PS. А память, тем временем, всё уходит и уходит. Уже прмерно 200 мб непонятно куда девалось (за 12 часов работы 25 молотилок).
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853864
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидСимонов Дениспропущено...
Такой анализ нужен, но делаться он должен не такСейчас ты его вообще НИКАК не сделаешь. Так что лучше пусть хоть что-то лезет, по "спецключу" в конфиге трейса или как-то еще. Иначе - кердык всем поискам щастья.

может стоит посмотреть что предлагают другие СУБД для решения такой проблемы. Тупо выкидывать микс всех планов не вариант. Да и разобраться в этом миксе один фиг тяжело
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38853877
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид> К сообщению приложен файл (oltp-emul-att30-win4.jpg.zip)
Скажи, а накойфиг ты жпеги зипуешь?..

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854086
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисможет стоит посмотреть что предлагают другие СУБД для решения такой проблемы. Тупо выкидывать микс всех планов не вариант. Да и разобраться в этом миксе один фиг тяжелоОрацле даёт возможность сессии "самой" включить трейс своих же д-вий, причём с разной степенью детализации. Кроме того, у него есть замечательная штука: иерархический профайлер, который покажет затраты на вызовы pl/sql-юнитов, вплоть до отдельных операторов внутри их.
Но фиг с ним, с иерархич. показом. Дали бы возможность выдачи в сырой текст инфы пофигу в каком виде, просто по отдельным стейтментам - уже великое спасибо.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854089
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
zirra кажи, а накойфиг ты жпеги зипуешь?.. не влазят, тут более 150 кб не прислюнявить.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854090
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид> не влазят, тут более 150 кб не прислюнявить.
Выложи на свой хостинг и дай на неё сцылко... Ы?..

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854091
fd00ch
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид, у тебя какие-то неправильные джейпеги, раз жмутся зипом (sic!) в 3 раза. и потом, png же есть
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854122
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
fd00chу тебя какие-то неправильные джейпеги, раз жмутся зипом (sic!) в 3 раза. и потом, png же естьну, уж какие есть, мопед не мой.
А пнг - в топку, ибо:
Код: plaintext
1.
2.
dir /-c oltp-emul-att30-win5.* | findstr oltp
14.01.2015  13:35               225521 oltp-emul-att30-win5.JPG
14.01.2015  13:36               390345 oltp-emul-att30-win5.PNG
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854146
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
zirra Выложи на свой хостинг и дай на неё сцылко... Ы?.. "Свой" хостинг когда-нибудь помрёт, или я сам случайно затру всё старое. Здесь удобно тем, что навечно :-)
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854147
RWolf
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

png получен путём открытия и пересохранения джпега? :)
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854163
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Через 18 часов после старта всё очень плохо:
1) нагрузка на CPU и IO - практически нулевые
2) память застряла где-то на отметке 1.05 гб
3) трейс (с макс. детализацией) хотя и показывает телодвижения, но непонятно, насколько они "слабее", чем должны быть при нормальной нагрузке ЦПУ + диска
4) срубание всех 25 аттачей привело к высвобождению памяти, но далеко не сразу - только через 6 минут. Возможно, ФБ всё это время занимался откатами изменений, но трейс был уже срублен, доказательств нету. Но потраченное время - 6 минут - конечно выглядить странно для всего 25 молотилок. Да и диск по прежнему тупо в нуле сидел при этом, и ЦПУ тоже!

"Так грустно, что хочется танцевать" (С)
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854169
Фотография zirra
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид , у тебя какой-то неправильный png... Alt-PrnScr, Paint, Save As -> PNG Picture...
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854170
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

автотрейс отдельных статментов был бы в тему. Типа параметр отдельный в API функции выполнения/препарирования запроса, чтобы можно было вытащить телодвижения конкретного запроса, а не как сейчас по статистике в супере счётчики по всем коннектам. Вот только в FB выполнение процедуры это отдельный статмент и дальше он на подстатменты не делится, т.к. находится в скомпилированном виде.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854174
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
RWolfpng получен путём открытия и пересохранения джпега? :)а, стоп. погодь!.. точно, ступил я - пнг рулез :-)
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854179
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

что там со свипом/сборкой мусора. Счётчики транзакций хорошо двигаются или застревают? Какой зазор набежал за время работы?
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854188
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисВот только в FB выполнение процедуры это отдельный статмент и дальше он на подстатменты не делится, т.к. находится в скомпилированном виде.Вот тута было сказано, что вытащить детализацию таки можно, но "Чапай думать будет". Ждём, короче.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854190
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

ты бы дальше то прочитал 16400644
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854194
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисчто там со свипом/сборкой мусора. Счётчики транзакций хорошо двигаются или застревают? Какой зазор набежал за время работы?
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
Database header page information:
       Flags                   0
       Generation              281771
       System Change Number    0
       Page size               8192
       ODS version             12.0
       Oldest transaction      278440
       Oldest active           278441
       Oldest snapshot         263305
       Next transaction        281438
       Sequence number         0
       Next attachment ID      327
       Implementation          HW=Intel/i386 little-endian OS=Windows CC=MSVC
       Shadow count            0
       Page buffers            0
       Next header page        0
       Database dialect        3
       Creation date           Jan 13, 2015 15:37:57
       Attributes

   Variable header data:
       Sweep interval:         20000

Свипа не было ни разу, в логе:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
IT_TEST	Tue Jan 13 20:41:26 2015
	setsockopt: error setting IPV6_V6ONLY to 0


IT_TEST	Wed Jan 14 08:01:02 2015
	Database: oltp30
	page 167108, page type 5 lock denied (216)


IT_TEST	Wed Jan 14 08:01:04 2015
	Database: oltp30
	page 167108, page type 5 lock denied (216)


IT_TEST	Wed Jan 14 14:19:54 2015
	Database: oltp30
	page 170503, page type 5 lock denied (216)
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854205
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисты бы дальше то прочитал 16400644 Читал, читал.
Сейчас ситуация такая, что нету вообще ничего.
Вывод статистики по отдельным частям запросов (select (select ...), (select ...) from rdb$database) - оно конечно круто, но можно и без такого уровня.
Просто дали бы вывод только по каждому стейтменту, который лез в базу. Всё.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854207
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоиддоказательств нету.Дамп памяти делать надо было.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854211
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидПросто дали бы вывод только по каждому стейтменту, который лез в базу.Именно это тебе и даётся.
Сколько можно тебе говорить, что нет никаких отдельных стейтментов внутри твоего блока\процедуры\триггера ?
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854265
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladДамп памяти делать надо было. Как его делать в win xp ?
hvlad нет никаких отдельных стейтментов внутри твоего блока\процедуры\триггера ?Хорошо, я назову это так: "DML-предложения, разделённые точкой с запятой". И они внутри блоков - есть (по кр мере, в исходном коде). А затрат по каждому из них в отдельности - не получить.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854275
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидhvladДамп памяти делать надо было. Как его делать в win xp ?Как и везде. Например тем же Process Explorer, в котором ты картинки делаешь.


Таблоидhvlad нет никаких отдельных стейтментов внутри твоего блока\процедуры\триггера ?Хорошо, я назову это так:Называй как хочешь - в движке этого НЕТ
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854296
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

не работает движок с исходным кодом ХП, только с BLR. Этот исходный код хранится только как справочный материал.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854337
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денисне работает движок с исходным кодом ХП, только с BLR. Этот исходный код хранится только как справочный материал.Тогда из какого астрала планы по каждому из вызовов внутри ХП в 2.5 вываливались ? Верните взад хотя бы это, сделайте доп. параметр в трейсе, с дефолтным значением = disabled - но дайте хотя бы возможность просмотра этого.
Блин, ну руки опускаются, когда нету даже возможности получить инфу, ни в каком виде вообще!

Ладно, я всё сказал. Как народ начнёт трёшку в продуктивы ставить - поглядим тогда.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854357
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

IBExpert Операции/Использование индексов. Там раскладывается ХП на статменты и рисует план. Правда я не уверен, что он всегда правильно это делает.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854387
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисТаблоид,

IBExpert Операции/Использование индексов. Там раскладывается ХП на статменты и рисует план. Правда я не уверен, что он всегда правильно это делает.В где это там ?? меню лошадиного размера, поиска в нём нету. Выложи кусок скрина, плз.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854390
Фотография o_v_a
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ну не знаю... Может оно и надо в 5% случаев...
У меня лично таких дюже здоровых процедур нет (ну разве что на пару экранов только), чтоб так с проверкой производительности маяться.
Если в продакшене траблы у кого и происходят, то тестирую просто пооператорно, глядя в статистику этих конкретных запросов, выполняя их отдельно вне контекста процедуры. Если там что-то пишущее, то после выполнения откатываю :)
Но обычно так только с нетривиальными выборками приходится ковыряться.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854396
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Таблоид,

в ленивом режиме
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854477
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Денис,

спс, гляну. Хотя через Жо это всё, конечно же.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854519
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladТаблоидпропущено...Как его делать в win xp ?Как и везде. Например тем же Process Explorer, в котором ты картинки делаешь.Сделал два дампа (mini), когда ЦПУ был в нуле и когда он что-то там "изображал".

Вот тынц: https://yadi.sk/d/7BfcLUkOdy65C

PS. Это - нагрузка от 10 (десяти) аттачей.
Память всё равно тихо-медленно, но прёт вверх. И те же "горы и равнины", что и при 100 аттачах.

Вот что было в начале теста:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
16:18:22.796 Name                Pid      VM      WS    Priv Priv Pk   Faults   NonP Page
16:18:22.859 firebird           3212   40004    4492    1544    1544     1143     34   54
16:18:28.375 firebird           3212   40004    4492    1544    1544     1143     34   54
16:18:33.578 firebird           3212   40004    4492    1544    1544     1143     34   54
16:18:38.687 firebird           3212   40004    4492    1544    1544     1143     34   54
16:18:43.750 firebird           3212   70944   15384   12572   20740     9094     37   89
16:18:48.828 firebird           3212  375040  163920  281340  281408    70234    192  122
16:18:54.328 firebird           3212  395076  178412  301428  304120   104980    205  122
16:19:01.312 firebird           3212  396016  182440  306556  314712   135516    207  118
16:19:06.515 firebird           3212  411040  190420  321588  321784   155286    216  118
16:19:11.750 firebird           3212  413340  193820  323900  326404   188312    218  118
16:19:16.937 firebird           3212  418912  197556  329484  332952   219032    222  118
16:19:22.140 firebird           3212  422624  199648  333200  334040   245457    224  118
16:19:27.328 firebird           3212  420640  199112  331224  336940   271377    223  118
16:19:32.734 firebird           3212  426076  202748  336660  337372   296198    226  118

И вот что сейчас:

Код: plaintext
1.
2.
3.
4.
5.
6.
XX:XX:XX.XXX Name                Pid      VM      WS    Priv Priv Pk   Faults   NonP Page
18:44:55.968 firebird           3212  567596  128532  470580  471224 13741245    306  118
18:45:01.296 firebird           3212  567980  129188  470964  471480 13744443    306  118
18:45:06.531 firebird           3212  569776  130704  472764  472764 13747726    307  118
18:45:11.750 firebird           3212  568236  133168  471220  472832 13749886    306  118
18:45:16.953 firebird           3212  568236  133852  471220  472832 13751296    306  118
18:45:22.171 firebird           3212  568620  134216  471604  472832 13751980    307  118
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854525
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидСделал два дампа (mini)А толку мне от этих дампов без .pdb от твоего (неизвестного) билда ?
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854530
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvlad,

пфф.... забыл про них :(

ЕМНИП, их надо просто положить рядом с firebird.exe, да ?
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854532
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladТаблоидСделал два дампа (mini)А толку мне от этих дампов без .pdb от твоего (неизвестного) билда ?Тем более, что снапшот 31541 уже замещён более свежим 31543
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854534
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидЕМНИП, их надо просто положить рядом с firebird.exe, да ?Они нужны тому, кто дамп анализирует, т.е. не тебе
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854538
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladТаблоидЕМНИП, их надо просто положить рядом с firebird.exe, да ?Они нужны тому, кто дамп анализирует, т.е. не тебе я догадываюсь :-)

Свежий снапшот-то я скачаю, ес-сно.
А что с .pdb - в куда их ложить ?
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38854566
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladТем более, что снапшот 31541 уже замещён более свежим 31543Вот два дампа, по нынешнему снапшоту:

https://yadi.sk/d/WuHBlXTidyDiv

(один для нулевой нагрузки ЦПУ и диска, второй - для средней).
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38857966
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Заполняя в одиночном аттаче базу, получил опять этот "феномен". ФБ в какие-то моменты *ничего* не делает около 10 сек. То есть, именно так: ничего . Не грузит ЦПУ, не пишет и не читает ничего с диска.

Исходные данные:
SuperClassic, база в fw=off, page_size=4096, одна таблица.
Цель скрипта - довести PP этой таблицы до 64К.

Гляньте в аттач, плз: вот что можно было "не делать" в течение почти 10 сек ?

(про пики в reads при том, что в скрипте только insert'ы, уже выяснил: кое-кто из Светил дал подсказ, что это чтение метаданных, и раз там всё больше и больше PP, то и пики всё круче и выше).

ЗЫ.
Скрипт (его однократный вызов добавляет в таблицу 1000000 строк и на столько же увеличивает генератор `g`; когда этот генератоо достигнет значения 10'000'000'000, скрипт выдаст 'stop!' - флаг для остановки батника):
file = `add1packet.sql`
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
recreate sequence g; commit;
recreate table t(id bigint, s01 varchar(8), s02 varchar(8));
commit;

select current_timestamp, 'start packet' msg, gen_id(g,0) curr_gen from rdb$database;
select p.rdb$page_type, count(*) pg_cnt_before from rdb$pages p natural join rdb$relations r where r.rdb$relation_name='T' group by 1;
set stat on;
set term ^;
execute block as
  declare n bigint =  1000000 ;
  declare v_base bigint;
  declare i bigint = 0;
begin
  v_base = gen_id(g, 0);
  while (i<n) do begin

     insert into t(id,s01,s02)
     values( :v_base + :i,
             rpad('', 8, uuid_to_char(gen_uuid())),
             rpad('', 8, uuid_to_char(gen_uuid()))
            );
     i=i+1;
  end
  i = gen_id(g, :n);
end ^
set term ;^
set stat off;
select p.rdb$page_type, count(*) pg_cnt_after from rdb$pages p natural join rdb$relations r where r.rdb$relation_name='T' group by 1;
select current_timestamp dts, 'finish packet' msg, gen_id(g,0) curr_gen from rdb$database;
set stat on;
set echo on;
commit;
set stat off;
set echo off;
select current_timestamp dts, 'done commit' msg, iif(gen_id(g,0) >  10000000000 , ' stop !', 'go-on' ) flag  from rdb$database;
Батник:
`addpackets.bat`
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
@echo off
cls
del addpackets.log 2>nul
@rem echo recreate sequence g; recreate table t(id bigint, s01 varchar(8), s02 varchar(8)); commit;|C:\1INSTALL\FB30SNAP\isql.exe localhost/3330:E:\data\HUGE_CORE_4384.FDB
:m1
  echo.| mtee /t /+ addpackets.log
  echo ..................................................................................
  echo.| mtee /t /+ addpackets.log
  pslist -m 2>nul | findstr /i /c:"name" | mtee /t /+ addpackets.log
  pslist -m 2>nul | findstr /i /c:"firebird" | mtee /t /+ addpackets.log
  type add1packet.sql | C:\1INSTALL\FB30SNAP\isql.exe -n localhost/3330:E:\data\HUGE_CORE_4384.FDB | mtee add1packet.tmp
  type add1packet.tmp >> addpackets.log
  set enough=1
  findstr /i /c:"stop!" add1packet.tmp  > nul
  if errorlevel 1 set enough=0
  echo enough=%enough%
  del add1packet.tmp 2>nul
  if  .%enough%. == .1. (
    goto end
  )
goto m1
:end
echo BYE-BYE...
(требует наличия утилит mtee.exe & pslist.exe и включения их каталогов в PATH-список; логирует в файл с именем `addpackets.log`).
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38858095
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидЦель скрипта - довести PP этой таблицы до 64К.

ЕМНИП это удалось сделать Коваленко.
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38858103
Таблоид
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисТаблоидЦель скрипта - довести PP этой таблицы до 64К.ЕМНИП это удалось сделать Коваленко.Насколько я понял из текста core-4384, Коваленко предупреждал о проблеме. А ДЕ там недавно сказал, что типа всё должно быть пучком, но неплохо бы проверить.

Вот я и решил это сделать... :-)

У тебя есть диск с 300 гб и более (хотя бы на простой рабочей станции, не обязательно на серваке) ?
Попробуй, может это у меня только такие "артефакты" лезут после 2.2 млрд добавленных записей. Подождать, конечно, придется, часов 10-12, но оно того ст о ит :-)
...
Рейтинг: 0 / 0
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
    #38858111
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ТаблоидНасколько я понял из текста core-4384, Коваленко предупреждал о проблеме.
он не предупреждал. Он её и обнаружил. http://firebirder.ru/bolshoe-testirovanie-3

ТаблоидУ тебя есть диск с 300 гб и более
диск то у меня есть, вот только места там нету
...
Рейтинг: 0 / 0
55 сообщений из 55, показаны все 3 страниц
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]