Гость
Целевая тема:
Создать новую тему:
Автор:
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD / 25 сообщений из 55, страница 1 из 3
13.01.2015, 18:48
    #38853564
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
hi all

Объясните, плз, чем объяснить "странность" в хронологии загрузки проца и диска, когда идёт тест, имитирующий OLTP-действия, на базе с page=8192, FB SuperClassic, конфиг:

Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
DefaultDbCachePages = 512
LockHashSlots = 22111
TempCacheLimit = 512M

# actual only in Win, FW = OFF
MaxUnflushedWrites = -1
MaxUnflushedWriteTime = -1

SharedCache = false
SharedDatabase = true

RemoteServicePort = 3330

ExternalFileAccess = Restrict C:\1INSTALL\FBTEST
TempDirectories = c:\temp
MaxUserTraceLogSize = 99999
FileSystemCacheThreshold = 65536K

AuthServer = Legacy_Auth,Srp
AuthClient = Legacy_Auth,Srp,Win_Sspi
WireCrypt = Disabled
UserManager = Legacy_UserManager

BugcheckAbort = 1

Почему ЦПУ и диск уходят на перекур строго одновременно ?

ЗЫ. На машине, увы, только 1 гб рам, число аттачей = 30.
Private bytes показывает 1.08 Гб, working set - 520 Мб.
...
Рейтинг: 0 / 0
13.01.2015, 18:52
    #38853571
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Чтобы дать ответ на этот вопрос, нужно знать особенности твоего
теста, что там делается/происходит (как минимум, в концовке).
При чём это могут быть как "твои" действия, так и фоновые
серверные (очистки там и освобождения всякие).
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2015, 18:56
    #38853578
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Гаджимурадов Рустам,

у меня было только 1 подозрение: что все коннекты как-то сразу завершаются, а затем снова лезут в базу.
Но!
1) я перед тестом даю каждому из них разную стартовую паузу, от 2 до 20 сек;
2) они все выполняют разный объем работы, на каждом EB это - некоторая ХП, случайно выбираемая из фиксированного перечня (их примерно 20, процедур этих), да и затем там параметры заполнения док-тов тоже случайным образом выбираются, из некоторого диапазона;
3) никогда не видел такого на линухе.

> (очистки там и освобождения всякие).

может ли как-то влиять то, что Private Bytes стало больше 1 Гб, т.е. физической памяти, и лезет в своп ?
...
Рейтинг: 0 / 0
13.01.2015, 19:00
    #38853584
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоид> может ли как-то влиять то, что Private Bytes стало
Таблоид> больше 1 Гб, т.е. физической памяти, и лезет в своп ?

Наверное, может, ХЗ, но это должно влиять на IO в основном, а не CPU.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
13.01.2015, 19:20
    #38853594
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Я врубил трейс на некоторое время (правда, он сам начал вносить коррективы в график, но это понятно).
Конфиг его сделал максимально подробным.
trace.conf
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
database = (%[\\/](sqlex30|oltp30%|%tmp%|%test%).fdb)|(sqlex30%|oltp30%|%tmp%|%test%)
{
  enabled = true
  log_sweep = true
  log_errors = true

  ####################   A C H T U N G  ##############
  time_threshold = 0
#  exclude_filter = %execute block%
#  include_filter = %from v_rand%
#  connection_id=18

  #exclude_filter = %(SELECT)%
  #include_filter = %(DELETE)%
  ####################################################
#  log_context = true
  log_connections = true
  log_transactions = true

  log_statement_prepare = true
  log_statement_free = true
  log_statement_start = true

  log_trigger_start = true
  log_procedure_start = true
  log_function_start = true

  log_statement_finish = true

  log_procedure_finish = true
  log_function_finish = true
  log_trigger_finish = true

#  print_plan = true
#  explain_plan = true
  print_perf = true
#  max_sql_length = 16384
#  max_log_size = 9999999999

} 
Поймал паузу, вот она:
trace.log
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
2015-01-13T20:06:16.1400 (1696:01F0CC68) EXECUTE_FUNCTION_START

	oltp30 (ATT_104, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:4000

		(TRA_89676, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_MCODE_FOR_OPER:

param0 = bigint, "2000"





2015-01-13T20: 06:16 .1400 (1696:01F0CC68) EXECUTE_FUNCTION_FINISH

	oltp30 (ATT_104, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:4000

		(TRA_89676, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_MCODE_FOR_OPER:

param0 = bigint, "2000"



returns:

param0 = varchar(12), "SUP"



      0 ms



2015-01-13T20: 07:18 .0620 (1696:01F0F6D0) EXECUTE_FUNCTION_START

	oltp30 (ATT_124, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2760

		(TRA_91067, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_OPER_ORDER_BY_CUSTOMER:



2015-01-13T20:07:18.0620 (1696:01F0F6D0) EXECUTE_FUNCTION_FINISH

	oltp30 (ATT_124, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2760

		(TRA_91067, CONCURRENCY | NOWAIT | READ_WRITE)

Что он там минуту вкуривает - хрен поймешь

Но дальше - еще интереснее. Я вырубил трейс, решил попозжее еще раз повторить трассировку. Однако, не вижу после этого своего вмешательства вообще никаких "горой и пригорков" - см аттач.
ФБ просто прекратил грузить систему, и судя по всему - находится в состоянии "грогги".

Я уже видел такое на винде, не помню только, чем это было вызовано.
...
Рейтинг: 0 / 0
13.01.2015, 20:18
    #38853616
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Рестартанул всё, только теперь сделал так, чтобы ФБ никогда не вылезал за 1 гб: уменьшил число аттачей до 25, кеш коннекта до 256 страниц.

Горы и равнины всё равно лезут, правда, "равнины" теперь короче стали по времени.
...
Рейтинг: 0 / 0
13.01.2015, 21:34
    #38853648
fd00ch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоид,

1. файл подкачки в системе есть?
2. уверен, что PE работу с ним отображает в IO-активности?
3. сервер физически доступен, чтобы проверить, шумит ли в реале диск на равнинах?
...
Рейтинг: 0 / 0
14.01.2015, 00:27
    #38853698
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
fd00ch1. файл подкачки в системе есть?
2. уверен, что PE работу с ним отображает в IO-активности?
3. сервер физически доступен, чтобы проверить, шумит ли в реале диск на равнинах?1. Есть, 2 Гб
2. Не знаю, как это проверить / настроить ?
3. Это не сервер, а средней паршивости тачка, с цпу 2.2 ггц и рам 1 гб. И единственное, что в ней еще "туда-сюда" - это диск. Там 400 гб, копирование файла идёт со скоростью примерно 45-50 мб/сек.

Кстати. Сейчас снова взглянул на это хоз-во (PE), и вижу: FB 3.0 SC (WI-T3.0.0.31541) тихо крадёт память. Можете сами убедиться, если посмотрите скрин из предыдущего сообщения и сравните с этим: было 800 мб, сейчас - уже больше 900.
...
Рейтинг: 0 / 0
14.01.2015, 01:33
    #38853719
fd00ch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоидкак это проверитья ж написал: приложиться ухом к диску и послушать, не шуршит ли он, когда PE показывает равнину))
...
Рейтинг: 0 / 0
14.01.2015, 01:41
    #38853722
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
... порылся в своих же сусеках, нашёл что-то похожее. Кажись, опять какая-то хренота сидит, не показываемая трейсом 3.0, придётся к ФБ-2.5 за помощью ходить :(

Одно смущает: паузы почти всегда длятся около 1 минуты. Но еще загадочнее то, что последний оператор перед паузой был от коннекта 182, а первый оператор после паузы - от att_183:
молчание с 01:57:18.062 по 01:58:06.390
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
2015-01-14T01:57:18.0620 (1996:01F03CC0) EXECUTE_FUNCTION_START

	oltp30 (ATT_182, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2440

		(TRA_150959, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_OPER_RETAIL_REALIZATION:



2015-01-14T01: 57:18 .0620 (1996:01F03CC0) EXECUTE_FUNCTION_FINISH +++++++++++++++++++ att-182 (paused) ++++++++++

	oltp30 (ATT_18 2 , SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2440

		(TRA_150959, CONCURRENCY | NOWAIT | READ_WRITE)



Function FN_OPER_RETAIL_REALIZATION:

returns:

param0 = integer, "3400"



      0 ms



2015-01-14T01: 58:06 .3900 (1996:3D215208) EXECUTE_TRIGGER_START ++++++++++++++++++++ att-183 (waked-up) +++++++++

	oltp30 (ATT_18 3 , SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:3120

		(TRA_151040, CONCURRENCY | NOWAIT | READ_WRITE)

	PERF_LOG_BI FOR PERF_LOG (BEFORE INSERT) 

Первая активность att_182 после того, как он вошел в ступор в момент времени "T01: 57:18 .0620", случилась через 2.5 секунды после того, как очнулся att_183:
Код: plaintext
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
2015-01-14T01:58:08.8900 (1996:01F03CC0) EXECUTE_PROCEDURE_START +++++++++++++++++++++++ att-182 (resumed) ++++++++

	oltp30 (ATT_182, SYSDBA:NONE, NONE, TCPv4:127.0.0.1)

	C:\1INSTALL\FB30SNAP\isql.exe:2440

		(TRA_150959, CONCURRENCY | NOWAIT | READ_WRITE)



Procedure SP_ADD_PERF_LOG:

param0 = smallint, "0"

param1 = varchar(80), "sp_kill_qty_storno_ret_qs2qd"

param2 = integer, "<NULL>"

param3 = varchar(255), "qs->qd, doc=7045937, op=3300, qd cursor: c_ret_qs2qd_by_rcv, rows=63"

param4 = double precision, "<NULL>"

param5 = double precision, "<NULL>"

------------

2 dimitr & hvlad
!
ВЕРНИТЕ.ВЗАД.ПЛАН.ПОКАЗА. КАЖДОГО .СТЕЙТМЕНТА.ВНУТРИ.БЛОКА.КАК.ЭТО.БЫЛО.В.ФБ-2.5
В любом виде. Обзовите это не словом "PLAN", а как-то по-другому, хоть 'F#%&ing Old Bullshit' - пофигу. Когда народ прочухает, ЧЕГО вы отняли в 3.0 - будет сильный шум, ей-богу.
...
Рейтинг: 0 / 0
14.01.2015, 01:45
    #38853723
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
fd00chТаблоидкак это проверитья ж написал: приложиться ухом к диску и послушать, не шуршит ли он, когда PE показывает равнину))я же не про шуршание спросил, а про показ в РЕ активности с файлом подкачки :-)

А тот диск если бы шуршал, то был бы не 400 гиговым, а 40 :-) /* да и в комнате еще три тачки стоят + кондей. Шумно, чтобы услышать */
...
Рейтинг: 0 / 0
14.01.2015, 02:00
    #38853725
Гаджимурадов Рустам
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоид> про показ в РЕ активности с файлом подкачки :-)

Во-первых, именно это ты в PE никак не увидишь.
Только через perfmon, да и то на 100% не уверен в
точности и достоверности. Во-вторых, я бы на эти
цифры особо не ориентировался. Впрочем, это я,
синтетикой особой не увлекаюсь, в отличие от... :)

> /* да и в комнате еще три тачки стоят + кондей. Шумно, чтобы услышать */

На лампучку смотри, она моргает.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
14.01.2015, 09:22
    #38853794
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
ТаблоидВЕРНИТЕ.ВЗАД.ПЛАН.ПОКАЗА.КАЖДОГО.СТЕЙТМЕНТА.ВНУТРИ.БЛОКА.КАК.ЭТО.БЫЛО.В.ФБ-2.5

не в коем разе. Такой анализ нужен, но делаться он должен не так
...
Рейтинг: 0 / 0
14.01.2015, 09:34
    #38853801
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Симонов ДенисТаблоидВЕРНИТЕ.ВЗАД.ПЛАН.ПОКАЗА.КАЖДОГО.СТЕЙТМЕНТА.ВНУТРИ.БЛОКА.КАК.ЭТО.БЫЛО.В.ФБ-2.5Такой анализ нужен, но делаться он должен не такСейчас ты его вообще НИКАК не сделаешь. Так что лучше пусть хоть что-то лезет, по "спецключу" в конфиге трейса или как-то еще. Иначе - кердык всем поискам щастья.
...
Рейтинг: 0 / 0
14.01.2015, 09:38
    #38853803
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
PS. А память, тем временем, всё уходит и уходит. Уже прмерно 200 мб непонятно куда девалось (за 12 часов работы 25 молотилок).
...
Рейтинг: 0 / 0
14.01.2015, 10:37
    #38853864
Симонов Денис
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
ТаблоидСимонов Дениспропущено...
Такой анализ нужен, но делаться он должен не такСейчас ты его вообще НИКАК не сделаешь. Так что лучше пусть хоть что-то лезет, по "спецключу" в конфиге трейса или как-то еще. Иначе - кердык всем поискам щастья.

может стоит посмотреть что предлагают другие СУБД для решения такой проблемы. Тупо выкидывать микс всех планов не вариант. Да и разобраться в этом миксе один фиг тяжело
...
Рейтинг: 0 / 0
14.01.2015, 10:58
    #38853877
zirra
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоид> К сообщению приложен файл (oltp-emul-att30-win4.jpg.zip)
Скажи, а накойфиг ты жпеги зипуешь?..

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
14.01.2015, 13:20
    #38854086
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Симонов Денисможет стоит посмотреть что предлагают другие СУБД для решения такой проблемы. Тупо выкидывать микс всех планов не вариант. Да и разобраться в этом миксе один фиг тяжелоОрацле даёт возможность сессии "самой" включить трейс своих же д-вий, причём с разной степенью детализации. Кроме того, у него есть замечательная штука: иерархический профайлер, который покажет затраты на вызовы pl/sql-юнитов, вплоть до отдельных операторов внутри их.
Но фиг с ним, с иерархич. показом. Дали бы возможность выдачи в сырой текст инфы пофигу в каком виде, просто по отдельным стейтментам - уже великое спасибо.
...
Рейтинг: 0 / 0
14.01.2015, 13:20
    #38854089
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
zirra кажи, а накойфиг ты жпеги зипуешь?.. не влазят, тут более 150 кб не прислюнявить.
...
Рейтинг: 0 / 0
14.01.2015, 13:22
    #38854090
zirra
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоид> не влазят, тут более 150 кб не прислюнявить.
Выложи на свой хостинг и дай на неё сцылко... Ы?..

--
Vladimir A.Bakhvaloff
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
14.01.2015, 13:22
    #38854091
fd00ch
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоид, у тебя какие-то неправильные джейпеги, раз жмутся зипом (sic!) в 3 раза. и потом, png же есть
...
Рейтинг: 0 / 0
14.01.2015, 13:38
    #38854122
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
fd00chу тебя какие-то неправильные джейпеги, раз жмутся зипом (sic!) в 3 раза. и потом, png же естьну, уж какие есть, мопед не мой.
А пнг - в топку, ибо:
Код: plaintext
1.
2.
dir /-c oltp-emul-att30-win5.* | findstr oltp
14.01.2015  13:35               225521 oltp-emul-att30-win5.JPG
14.01.2015  13:36               390345 oltp-emul-att30-win5.PNG
...
Рейтинг: 0 / 0
14.01.2015, 13:45
    #38854146
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
zirra Выложи на свой хостинг и дай на неё сцылко... Ы?.. "Свой" хостинг когда-нибудь помрёт, или я сам случайно затру всё старое. Здесь удобно тем, что навечно :-)
...
Рейтинг: 0 / 0
14.01.2015, 13:45
    #38854147
RWolf
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Таблоид,

png получен путём открытия и пересохранения джпега? :)
...
Рейтинг: 0 / 0
14.01.2015, 13:52
    #38854163
Таблоид
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD
Через 18 часов после старта всё очень плохо:
1) нагрузка на CPU и IO - практически нулевые
2) память застряла где-то на отметке 1.05 гб
3) трейс (с макс. детализацией) хотя и показывает телодвижения, но непонятно, насколько они "слабее", чем должны быть при нормальной нагрузке ЦПУ + диска
4) срубание всех 25 аттачей привело к высвобождению памяти, но далеко не сразу - только через 6 минут. Возможно, ФБ всё это время занимался откатами изменений, но трейс был уже срублен, доказательств нету. Но потраченное время - 6 минут - конечно выглядить странно для всего 25 молотилок. Да и диск по прежнему тупо в нуле сидел при этом, и ЦПУ тоже!

"Так грустно, что хочется танцевать" (С)
...
Рейтинг: 0 / 0
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / ProcessExplorer для FB-3 показывает "горы с равнинами", синхронно для CPU & HDD / 25 сообщений из 55, страница 1 из 3
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]