Приветствую, коллеги!

Пробую внедрить трешку на один из своих серверов и получил неприятную картинку с записью.
Есть пачка пишущих запросов (от своего репликатора), там каждый запрос обрабатывает ровно одну запись, обращение по ПК, вперемешку инсерт-апдейт-делит, размер пачки порядка нескольких тысяч запросов (как правило до 30 тысяч, типично 2 ... 5 тыс), один коммит в конце пачки. На 2.5 работает в разы быстрее (в 2 ... 4 раза), т.е. на погрешность измерения не спишешь.

Это один я такой тормоз или кто еще сталкивался? Куда копать?

Под ногами сервер с парой зионов шестиядерников, 112 гиг ОЗУ, 4 ССД в 10 рэйде на адаптеке с ББУ. размер базы примерно 100 гиг. сервера для сравнения все похуже, но рэйды везде, типично 4 САС на адаптеках с ББУ, везде 2.5 классик, все в работе с юзерами по нескольку десятков коннектов на каждом. Тестовый сервер без юзеров, только принимает пачки репликатора.

Что пробовал:

1. менял центос с 6.7 на 7.5 - эффекта нет.
2. менял классик-супер - эффекта нет.
3. менял синхронную - асинхронную запись (форсед райтс) - эффекта нет.
4. игрался с кэшем страничек от 2000 до 2000000 - эффекта нет.
5. пробовал держать открытыми коннекты на фоне - эффекта нет.

Сам сервер отлично обслуживал порядка 150 коннектов на 2.5 классик, вывели на апгрейд ОСи и файрберда, жив живехонек, никаких тормозов с копированием файлов не отмечено. никаких виртуалок, железка на ней центос, на центосе файрберд.

Если что-то недосказал, готов накопать и сказать. типичную картинку из мониторинга прилагаю.

hvladIvan_Pisarevsky,

триггеры есть ?В изобилии, но для юзера REPLICATOR в подавляющем большинстве таблиц сделаны обходы, чтобы триггер ничего не делал.

типичная картинка примерно такая:



Все базы идентичны по метаданным.

hvladА что обозначают обведённые красным числа ?время в секундах, которое тратит проблемный сервер на отработку скрипта.
hvladВ соседних строках - хорошие значения ?В соседних строках другие сервера, которые стоят по филиалам. Отрабатывают все очень похожие скрипты.

7 филиальных (точнее 6 рабочих и седьмой тестовый), 1 центральный, белые строки - филиалы скидывают центру, серые - филиалы принимают скрипт из центра. седьмой стоит на то же площадке (привинчены в одной стойке), что и центральный, т.е никаких сетевых накладок нет.

Симонов ДенисIvan_Pisarevsky,

а как работает репликатор у него постоянный коннект или коннект отправили пачку дисконнект?коннект-старт пишущей транзакции-цикл (вычитать строку из текстовика (не более 2к символов) отпрепарировать запрос без параметров-применить запрос)-коммит-дисконнект.

Симонов Денисконнект-дисконнект в 3.0 чуть дороже, но вряд ли может так сильно повлиять.на одну пачку одна пара коннект-дисконнект, на меленьких пачках нет разброса по времени.
Симонов ДенисLINGER на SS не пробовал ставить чтобы кеш не сбрасывался между коннектами?нет, но можно попробовать. И таки да, специально держал в фоне эксперт, чтобы придержать ОАТ и сброс кэша. Мусора нет, свип пролетает за секунду. Застрявших транзакций нет.
Симонов Денис3.0 работает через родной клиентРодной клиент из того же тарбола в офсайта файрберда. Специально шифрование не включал, сейчас покручу.

На селекты, кстати говоря, претензий нет. Тестирую уже несколько месяцев, все (или близко к тому) проблемные запросы переловил, где план уползал в "неведомые дали".

hvladЭто сервер в тестовом режиме или в боевом ?В тестовом, но надо отдавать в работу.
hvladКроме репликатора у него есть клиенты ?нет.
hvladМожно на нём поднять рядом 2.5 и накатывать репликацию и на 2.5 тоже ?в итоге 2.5 и подниму, только не рядом а вместо и отдам в работу.

У первого номера в списке развалился массив и там сейчас спешно сунута десктопная ССДшка, вместо массива, сдохнуть может в любой момент. Долго тестировать не могу, хотел поднять один из филиалов на трешке, но видимо пока не получится.

Тестовый стенд подумаю как соорудить, в принципе пара не сильно новых но вполне живых и сильно похожих двухпроцовых железяк под руками будет.

Dimitry SibiryakovНасколько я помню, при этом полностью отпадёт возможность использовать аутентификацию srp.Сейчас все легаси, так что не проблема.

hvladРаз чтение не тормозит, возникает ещё вопрос о настройках файловой системы - журнал, барьер и прочее (тебе виднее).Беру сервак с центосом 6.7, работал на ура в качестве центрового, ставлю как филиальный - все работает. Сношу 2.5.7, накатываю 3.0.3, отгребаю тормоза, ОСь-железо при этом не меняется. Далее пробую рыпаться по списку в первом посте.

Dimitry SibiryakovIvan_PisarevskyВ тестовом, но надо отдавать в работу.

Тогда обновись до снапшота. После 3.0.3 много чего фиксилось.У меня на десктопе стоит снапшот, только Ось не центос, а SUSE. Отставание на том же самом репликаторе прослеживалось, только я полагал, что железка слабовата. Надеялся, что нормальная железка будет работать не хуже двойки...

Похоже надо сооружать тестовый стенд и ловить.

Симонов Дениса за FileSystemCacheThreshold следил чтобы не был меньше размера страничного кеша?поставил 10000000

Симонов ДенисIvan_Pisarevsky,

шифрование трафика включено по умолчанию. Я предлагаю попробовать его отключить. Но как я уже сказал это даст не более 5-10% прироста
WireCrypt = Disabled

systemctl restart firebird-superserver

те же яйца, только в профиль, поглядел еще пару-тройку циклов обмена, ничего не изменилось.

Накатил на испытуемого 2.5.8, классик, никаких системных настроек не крутил, отдал в работу, стоит на номере первом в списке, картинка нормализовалась

Siemarglэто легкий подкол именно ИПДа без проблем.
Siemarglведь с начала выхода 3ки были заметны легкие подтормаживанияБлиже к делу! Явки? Пароли? Подземный стук не интересен, а вот конкретные примеры весьма. Пустой троллинг про вирусы на свеженьком центосе во внутренней сети без выхода наружу я буду и дальше без сожалений удалять.

В сухом остатке: до сего дня нагрузочного тестирования записи на трешке я не проводил, проведу и сравню, после отпуска :) . На куче чтений и немного записи все было хорошо (например агрегирование продаж, много читали и писали только выжимки в агрегат). Просто интерактивная работа с поиском товаров по базе, получение отчетов все пристойно. Честно говоря подвоха от репликатора не ждал, его код несколько раз пересмотрел, подвоха не увидел, там всего несколько килобайт на си.

Ушел осмыслять, советы пожелания принимаются.

Да, все запросы без параметров, прилетает полностью готовый запрос. Никакой разлапистой логики в самих запросах нет, обработка одной записи по первичному ключу.
По идее поймать время препарирований запросов можно, это не сложно, исходник под рукой. Как вариант, конечно, да, вот только тормозов на чтение я решительно не видел, а запросов там не меньше.
Как триггеры на это повлияют?

Пока жду вместительную ССД-ху, а то не получается впихнуть две базы на нее, чтобы условия одинаковые создать на тестовом стенде.

MikeDDВ любом случае оптимальнее будет передавать не скрипты в тексте а сами данные и генерить модифицирующие запросы с параметрами при втяжке реплики.Это означает взять и под корешок переписать свой репликатор, разумным это не видится, проще "пересидеть трешку в окопах" и попробовать репликатор от четверки. :)
Симонов Денистрассировкой их лови. Может там виднее будет что именно тормозит.Разверну тестовую железку, приду за советами.

hvladВлиять будет не препарирование триггера, а проверка прав - на каждом выполнении запроса.
И для всего дерева вложенных вызовов.При переходе с 2.5 на 3.0 там что-то кардинально менялось? В двойке все те же самые депенденсы и все те же права.

hvladНо никаких данных, кроме факта тормозов, у нас нет.Все так, сошлись на том, что я делаю тестовый стенд с одинаковой ОСью, одинаковыми остальными ресурсами (проц-память-диск) и далее мучаем эту механизму всякими трейсами и прочими замерами. Железку жду, под это дело решили планово заменить мой десктоп, чтоб он потянул всю эту тестовую конструкцию (надо впихнуть три базы по 100 гиг каждая 1 источник и 2 приемника, на САТА это все жуть медленно и печально). Сейчас сезон отпусков, то я был в отпуске, то админ, который должон усе купить.

Как буду готов доложу.