powered by simpleCommunicator - 2.0.51     © 2025 Programmizd 02
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность на запись FB 3.0.3
25 сообщений из 80, страница 3 из 4
Производительность на запись FB 3.0.3
    #39681082
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Симонов Дениса ты не думал, что это потому что он приватный.

Нет, не думал.
Во-первых, потому что это не имеет смысла, поскольку он планировался к влитию в публичную
ветку ещё пару лет назад.
Во-вторых, я в курсе HQBird и RB: просто взять и применить их к четвёрке не получится
(точнее я очень надеюсь, что на такое Дима не пойдёт, ибо это будет самое большое
разочарование последней пятилетки).
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681158
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladВлиять будет не препарирование триггера, а проверка прав - на каждом выполнении запроса.
И для всего дерева вложенных вызовов.При переходе с 2.5 на 3.0 там что-то кардинально менялось? В двойке все те же самые депенденсы и все те же права.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681161
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

насчёт кардинально - не скажу, но изменения точно были.

Чем гадать - сними трейс и посмотри на время и детальную статистику препарирования и выполнения.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681296
Фотография Старый плюшевый мишка
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Что проверка прав действительно накладная вещь, оно так, и что выполняется она для всех затронутых в триггере объектов на препаре, сиречь независимо от всяких если-то-иначе, тоже понятное дело, но у меня не укладывается в голове какое там может быть разлапистое дерево в репликационном триггере. Уж даже в моей довольно хитровыеженной базе таблиц, задевающих по обычным триггерам, всвязи с системной логикой, достаточное количество объектов для заметного замедления по сравнению с "простыми" таблицами, было десятка два на две с половиной тыщи. Сдаёццо мне, всвязи с замечанием об утяжелении работы с правами в трёхе, что истина где-то рядом, но не в репликаторе.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681315
Фотография Симонов Денис
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Старый плюшевый мишка,

не знаю как там скорость проверки прав в 3.0 по сравнению с 2.5 (не мерил), тут Таблоид нужен. Но совершенно точно в 3.0 намного больше типов объектов для которых проверяются права: генераторы, исключения, функции (в том числе и UDF).

По идее в 4.0 проверка прав должна быть проще за счёт возможности указать SECURITY DEFINER
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681320
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Старый плюшевый мишкаистина где-то рядомЕсс-но :)
Но никаких данных, кроме факта тормозов, у нас нет.

Посему предлагаю всем не тыкать пальцем в куда попало, вспоминая весь тысячелетний опыт борьбы за всё хорошее, а дождаться большего кол-ва инф-ции от Ивана
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681510
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
hvladНо никаких данных, кроме факта тормозов, у нас нет.Все так, сошлись на том, что я делаю тестовый стенд с одинаковой ОСью, одинаковыми остальными ресурсами (проц-память-диск) и далее мучаем эту механизму всякими трейсами и прочими замерами. Железку жду, под это дело решили планово заменить мой десктоп, чтоб он потянул всю эту тестовую конструкцию (надо впихнуть три базы по 100 гиг каждая 1 источник и 2 приемника, на САТА это все жуть медленно и печально). Сейчас сезон отпусков, то я был в отпуске, то админ, который должон усе купить.

Как буду готов доложу.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681554
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevskyя делаю тестовый стенд с одинаковой ОСью
винду потом туда поставить и проверить то же самое не забудь.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681569
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
kdvIvan_Pisarevskyя делаю тестовый стенд с одинаковой ОСью
винду потом туда поставить и проверить то же самое не забудь.Не знаю... исходники репликатора сишные, компилятся обычным gcc, наверно и под винды должны собираться, не пробовал ни разу.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39681803
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

будет обидно (и тебе и остальным) если ты не узнаешь, что на винде быстрее, медленнее, или одинаково. Особенно когда есть возможность сравнить именно операционки. Вернее, операционки + драйверы на одном и том же железе.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39743135
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Привет!

Позвольте вернуться к моим баранам. Взял я давеча ночной бэкап gbk одного из филиалов, получен штатным gbak на двойке, разресторил на двушке, разресторил на трешке (из изменений только накатил скрипт дающий права на эксепшены и генераторы, метаданные по сути идентичные), получил базульку примерно на 67 гиг.
Подождал примерно полдня и велел репликатору сгенерить дифф скрипт, получил скрптец на 422 тыс строк, пооткусывал от него ненужные isql префиксы, добавил ";" на концах строк, получился синтаксически корректный скрипт, скормил оный сначала трешке(3.0.4 ss):

test_repl started 2018-12-04 22:12:49
test_repl finished 2018-12-04 23:27:31

Потом снес трешку и накатил 2.5 классик

test_repl started 2018-12-05 19:03:45
test_repl finished 2018-12-05 19:15:50

Как можно заметить разница довольно значительная(почти на порядок!), никаких доп коннектов на время теста нет, базы свежеотресторенные из одного источника, железка ровно та же самая (мой десктоп 32Гб память, 4 ядерный проц на 3,6Гц, диск ССД на САТА порту, ФС ext4, OS Linux OpenSuse 42.3, все в железе, без виртуалок), никаких левых программ не использовалось, только из штатной поставки ФБ.

Исходный бэкап, пара баз и сам скрипт имеются.

Как же так???
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39743143
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
По сравнению с 21616331 никаких новых данных я не вижу
Ivan_Pisarevskyдалее мучаем эту механизму всякими трейсами и прочими замерамэтого я тоже не вижу.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39743148
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я еще не успел, если будут методуказания буду признателен. Дока про трейс в процессе изучения-освежения памяти.
hvladэтого я тоже не вижу.Не серчайте шибко, барин, все применим. :)
из обещанного: все собрано на одной железке, железка под рукой, базы на нее в требуемом кол-ве помещаются, софт можно ставить требуемых версий. Первоначальный тест только на штатном софте сделал, чтобы отмести подозрения от своего софта.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39743149
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я бы начал с включения в скрипт
set stat on;
set plan on;
set echo on;
сохранения результатов в файл и сравнения оных результатов.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39743193
Фотография kdv
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevsky,

я так понимаю, скрипт этот выполняется в одном коннекте. Это раз.
Там идут инсерты и апдейты. Что касается инсертов - рестор этой базы тоже в 5-6 раз медленнее, чем на 2.5? если нет, то всё это фантастика. Это два.

Где трейс? Это три. Запускаем трейс, запускаем скрипт, сохраняем. На 3.0 и 2.5. сравниваем.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768618
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Похоже мой случай уже в трекере:
http://tracker.firebirdsql.org/browse/CORE-5966

вчера перетряхнул свои 4 тыс. триггеров, поменял в них юзера REPLICATOR на SYSDBA, и прогнал скрипт от имени SYSDBA, результат порадовал:

test_repl started 2019-02-01 22:50:24
test_repl finished 2019-02-01 23:00:02

чуть меньше 10 минут, даже лучше чем на двойке.

Роман Симаков, если требуется прогнать какие тесты, параметры трейса, потестить снапшот с патчем, отпишись, постараюсь задвинуть вопли юзеров с их срочными делами подальше и погонять, а то уже их НДС с печатными формами в печенках сидят. :) Не дают сделать что-то стОящее.

kdvрестор этой базы тоже в 5-6 раз медленнее, чем на 2.5? если нетСкорость рестора сопоставимая, в пределах погрешности измерения. порядка одного часа.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768644
sysdba22
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Гость
вопрос разработчикам, в треккере стоит фикс этой проблемы для версии 3.0.5, это действительно так? или раньше 4 не ждать?

спрашиваю так как большой кусок логики хотим скинуть на тииггеры и боимся попасть в засаду.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768645
Коваленко Дмитрий
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_Pisarevskyвчера перетряхнул свои 4 тыс. триггеров , поменял в них юзера REPLICATOR на SYSDBA

Я мимо проходил ... Но очень впечатлило...

Даже полез посмотреть - а как это было сделано у нас в 2003 году?
Код: sql
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
CREATE PROCEDURE SP_RPL_IS_RESTORE_MODE
 RETURNS(IS_RESTORE_MODE SMALLINT)
AS
BEGIN
 IF(UPPER(CURRENT_USER)=_T("REPLICATOR"))THEN
 BEGIN
  IS_RESTORE_MODE=1;
  SUSPEND;
 END
END!!

////////////////////////////////////////////////////////////////////////////////

#define RPL_IS_RESTORE_MODE() (EXISTS(SELECT * FROM SP_RPL_IS_RESTORE_MODE))

#define RPL_IS_USER_CHANGE()  (NOT RPL_IS_RESTORE_MODE())



Да не, по человечески - централизованно :)

...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768647
dimitr
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sysdba22,

в 3.0.5 фикс был закоммичен 18 ноября (билд 33081)
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768651
Dimitry Sibiryakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А битовые маски могли бы быть ещё быстрее. Или нет?..
Posted via ActualForum NNTP Server 1.5
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768678
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Коваленко ДмитрийНо очень впечатлило...Что именно? выдернул всей кучей триггера в скрипт в эксперте, прошелся автозаменой и накатил обратно. Это-то как раз фигня вопрос. :)

dimitrв 3.0.5 фикс был закоммичен 18 ноября (билд 33081)А почему в трекере не закрыт тикет?

Короче надо проверять версии и прогнать тесты.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768682
Roman Simakov
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyПохоже мой случай уже в трекере:
http://tracker.firebirdsql.org/browse/CORE-5966

вчера перетряхнул свои 4 тыс. триггеров, поменял в них юзера REPLICATOR на SYSDBA, и прогнал скрипт от имени SYSDBA, результат порадовал:

test_repl started 2019-02-01 22:50:24
test_repl finished 2019-02-01 23:00:02

чуть меньше 10 минут, даже лучше чем на двойке.

Роман Симаков, если требуется прогнать какие тесты, параметры трейса, потестить снапшот с патчем, отпишись, постараюсь задвинуть вопли юзеров с их срочными делами подальше и погонять, а то уже их НДС с печатными формами в печенках сидят. :) Не дают сделать что-то стОящее.

kdvрестор этой базы тоже в 5-6 раз медленнее, чем на 2.5? если нетСкорость рестора сопоставимая, в пределах погрешности измерения. порядка одного часа.

Да. Алекс это пофиксил и в 3.0.5 должно быть. Можно потестировать снапшот.
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768683
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
У меня оказался сильно устаревший 33066 билд
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768684
Ivan_Pisarevsky
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не будет ли с моей стороны большой наглостью попросить вашего коллегу обновить пакет для SUSE?
https://build.opensuse.org/user/show/mkubecek
...
Рейтинг: 0 / 0
Производительность на запись FB 3.0.3
    #39768685
hvlad
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ivan_PisarevskyА почему в трекере не закрыт тикет?Потому что в 4-ке нужно кое-что ещё сделать.
Там же Алекс комментировал.
...
Рейтинг: 0 / 0
25 сообщений из 80, страница 3 из 4
Форумы / Firebird, InterBase [игнор отключен] [закрыт для гостей] / Производительность на запись FB 3.0.3
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]