powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / FB 3 зависает на операциях обновления.
25 сообщений из 53, страница 2 из 3
FB 3 зависает на операциях обновления.
    #39832734
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992,

при переключении на SS не забыл настройки для страничного кеша поднять?
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832754
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Симонов Денис,
С настройками все ок.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832757
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvlad,
А про какой дамп идет речь? Про тот, что снимал gdb? Если да, то там совсем другое было.
Могу сейчас подключится gdb к процессу во время коммита и скинуть сюда.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832759
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
давай
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832808
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
https://drive.google.com/open?id=17PV_sFqlhVL1-4bU0IKhZjqeSBmUri7a
Это с нагруженной базы, чуть позже сделаю без нагрузки.
И еще, на fb 2.5 коммит проходит моментально.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832819
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992В хп, которая все вешает, делает ~3.5к вставок и удалений во временную таблицу,
вставляется blob у которого sub_type text.

Дай угадаю: этот clob ещё и конкатенацией собирается?
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832823
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992,

на классике кеш маленький. На момент коммита почти все страницы уже сброшен на диск. В супере с большим кешем всё немного иначе время распределяется между работой самого запроса и коммитом. Надо мерить суммарно время работы запроса(ов) + время коммита. Результаты теста https://ib-aid.com/en/simple-insert-update-delete-test-for-firebird/ прекрасно показывают как кеш влияет на соотношения времени работы запроса и времени коммита.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832826
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Это без нагрузки, т.е. в базе выполняется только один коммит.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832829
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Dimitry Sibiryakov
Дай угадаю: этот clob ещё и конкатенацией собирается?
[/quot]
Ага
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832837
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992,

тут 197 потоков и 162 из них делают коммит.

demon1992Имею сервер fb 3.0.4 classicКлассик, говоришь ?
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832838
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
hvladdemon1992,

тут 197 потоков и 162 из них делают коммит.

demon1992Имею сервер fb 3.0.4 classicКлассик, говоришь ?

Не, 3.0.4 ss.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832843
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992Это без нагрузки, т.е. в базе выполняется только один коммитЗдесь два файла.
В первом - з потока с коммитом. Во втором - да, один. Что-то пишет на диск.
Сколько ему всего писать - из бектрейса не видно, тут нужно дамп подробнее изучать.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832848
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladСколько ему всего писать - из бектрейса не видно

Много. Ему надо вычистить все 100500 временных блобов.
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832855
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Dimitry SibiryakovhvladСколько ему всего писать - из бектрейса не видно

Много. Ему надо вычистить все 100500 временных блобов.Если так, то у 2.5 должны быть те же проблемы
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832900
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Проблему решил, на ее решение навел пост выше.
Заменил конкатенацию blob на list.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832946
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992Заменил конкатенацию blob на list.
гм. феерично.

http://www.ibase.ru/dbgrowth
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39832984
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
kdvгм. феерично.

http://www.ibase.ru/dbgrowth

То что описано в статье вопрос совсем другой, у меня же проблема была совсем в другом, и решена так как я ее описал.
А вот оправдано ли там использование блоба или нет, это да, я согласен с тем что использовать их без необходимости не нужно.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39834163
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Кстати, забыл сказать, конкатенация с varchar тоже тормозила, т.е. проблема была именно в конкатенации.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39834164
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992,

это если конкатенация blob || varchar
Остальная вполне нормально работает.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39834199
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
Хотя да, вы правы, забыл у одной переменной сменить тип, каюсь.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39834207
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992,

кстати в fbdevel обсуждается возможность введения системного пакета для манипуляций с BLOB в том числе и функции добавления строк в blob. Это должно решить проблему с распуханием при конкатенации блобов со строками.
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39836119
demon1992
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
А можно еще раз пояснить про блобы. Я пока был увлечен решением проблемы, у меня размер бд вырос с 20 до 70гб. Так вот, это произошло из-за конкатенаций блобов, или потому, что я менял таблицу в которую пишется блоб с временной на обычную? Насчет второго я понимаю, но я записал в обычную таблицу точно не 50гб. Получается это конкатенация столько места выжрала? Или я что-то не так понимаю?
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39836123
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992,

временные blob которые образуются в результате конкатенации при некоторых условиях начинают сбрасываться на диск.

Кстати меня интересует вопрос сборщик мусора или что-то другое что может пометить страницу как свободная когда нибудь добирается до BLOB идентификаторы которых не привязаны ни к одной таблице?
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39836159
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов ДенисКстати меня интересует вопрос сборщик мусора или что-то другое что может пометить страницу как свободная когда нибудь добирается до BLOB идентификаторы которых не привязаны ни к одной таблице?
насколько помню - нет, ибо блобы всегда читаются по их (хранимому где-то) ID, а не последовательно
...
Рейтинг: 0 / 0
FB 3 зависает на операциях обновления.
    #39836169
rdb_dev
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
demon1992, у меня есть UDF с исходниками на C++ (GNUC) под 2.5 для сборки BLOb. В принципе, вполне рабочая, но когда я делал эту UDF, то торопился с реализацией и до стабильного её неплохо бы допилить, так как в самодельном map там наверняка есть ошибки. Если ты силён в C++ и тебе эта UDF очень нужна, могу дать как есть и ты сам её допилишь, а потом можешь даже выкатить на github.
SQL скрипт для регистрации её функций выглядит так:
Код: plsql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
DECLARE EXTERNAL FUNCTION RAW_INIT
  INTEGER,
  INTEGER
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_init' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_FREE
  INTEGER
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_free' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_ADD_INT16
  INTEGER,
  INTEGER,
  SMALLINT BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_add' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_ADD_INT32
  INTEGER,
  INTEGER,
  INTEGER BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_add' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_ADD_INT64
  INTEGER,
  INTEGER,
  BIGINT BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_add' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_ADD_CHAR
  INTEGER,
  INTEGER,
  CHAR(766) BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_add' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_ADD_CSTR
  INTEGER,
  INTEGER,
  CSTRING(766) BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_add' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_ADD_VCHAR
  INTEGER,
  INTEGER,
  VARCHAR(32765) BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_add' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_ADD_BLOB
  INTEGER,
  BLOB
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_addblob' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_REWRITE_INT16
  INTEGER,
  BIGINT,
  SMALLINT BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_rewrite' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_REWRITE_INT32
  INTEGER,
  BIGINT,
  INTEGER BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_rewrite' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_REWRITE_INT64
  INTEGER,
  BIGINT,
  BIGINT BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_rewrite' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_REWRITE_CHAR
  INTEGER,
  BIGINT,
  CHAR(766) BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_rewrite' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_REWRITE_CSTR
  INTEGER,
  BIGINT,
  CSTRING(766) BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_rewrite' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_REWRITE_VCHAR
  INTEGER,
  BIGINT,
  VARCHAR(32765) BY DESCRIPTOR
  RETURNS INTEGER BY VALUE
  ENTRY_POINT 'raw_rewrite' MODULE_NAME 'libeverudf';

DECLARE EXTERNAL FUNCTION RAW_GET
  INTEGER,
  INTEGER,
  BLOB RETURNS PARAMETER 3
  ENTRY_POINT 'raw_get' MODULE_NAME 'libeverudf';
COMMIT WORK;

...
Рейтинг: 0 / 0
25 сообщений из 53, страница 2 из 3
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / FB 3 зависает на операциях обновления.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]