|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Приветствую, коллеги! Пробую внедрить трешку на один из своих серверов и получил неприятную картинку с записью. Есть пачка пишущих запросов (от своего репликатора), там каждый запрос обрабатывает ровно одну запись, обращение по ПК, вперемешку инсерт-апдейт-делит, размер пачки порядка нескольких тысяч запросов (как правило до 30 тысяч, типично 2 ... 5 тыс), один коммит в конце пачки. На 2.5 работает в разы быстрее (в 2 ... 4 раза), т.е. на погрешность измерения не спишешь. Это один я такой тормоз или кто еще сталкивался? Куда копать? Под ногами сервер с парой зионов шестиядерников, 112 гиг ОЗУ, 4 ССД в 10 рэйде на адаптеке с ББУ. размер базы примерно 100 гиг. сервера для сравнения все похуже, но рэйды везде, типично 4 САС на адаптеках с ББУ, везде 2.5 классик, все в работе с юзерами по нескольку десятков коннектов на каждом. Тестовый сервер без юзеров, только принимает пачки репликатора. Что пробовал: 1. менял центос с 6.7 на 7.5 - эффекта нет. 2. менял классик-супер - эффекта нет. 3. менял синхронную - асинхронную запись (форсед райтс) - эффекта нет. 4. игрался с кэшем страничек от 2000 до 2000000 - эффекта нет. 5. пробовал держать открытыми коннекты на фоне - эффекта нет. Сам сервер отлично обслуживал порядка 150 коннектов на 2.5 классик, вывели на апгрейд ОСи и файрберда, жив живехонек, никаких тормозов с копированием файлов не отмечено. никаких виртуалок, железка на ней центос, на центосе файрберд. Если что-то недосказал, готов накопать и сказать. типичную картинку из мониторинга прилагаю. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 12:12 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, триггеры есть ? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 12:24 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
hvladIvan_Pisarevsky, триггеры есть ?В изобилии, но для юзера REPLICATOR в подавляющем большинстве таблиц сделаны обходы, чтобы триггер ничего не делал. типичная картинка примерно такая: Код: sql 1. 2. 3. 4. 5.
Все базы идентичны по метаданным. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 12:30 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
А что обозначают обведённые красным числа ? В соседних строках - хорошие значения ? Т.е. не все пачки тормозят ? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 12:32 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, а как работает репликатор у него постоянный коннект или коннект отправили пачку дисконнект? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:11 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
hvladА что обозначают обведённые красным числа ?время в секундах, которое тратит проблемный сервер на отработку скрипта. hvladВ соседних строках - хорошие значения ?В соседних строках другие сервера, которые стоят по филиалам. Отрабатывают все очень похожие скрипты. 7 филиальных (точнее 6 рабочих и седьмой тестовый), 1 центральный, белые строки - филиалы скидывают центру, серые - филиалы принимают скрипт из центра. седьмой стоит на то же площадке (привинчены в одной стойке), что и центральный, т.е никаких сетевых накладок нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:12 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Симонов ДенисIvan_Pisarevsky, а как работает репликатор у него постоянный коннект или коннект отправили пачку дисконнект?коннект-старт пишущей транзакции-цикл (вычитать строку из текстовика (не более 2к символов) отпрепарировать запрос без параметров-применить запрос)-коммит-дисконнект. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:15 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, коннект-дисконнект в 3.0 чуть дороже, но вряд ли может так сильно повлиять. LINGER на SS не пробовал ставить чтобы кеш не сбрасывался между коннектами? В прочем это почти тоже самое что пункт 5. 3.0 работает через родной клиент или 2.5. Если родной то можно попробовать поиграться с отключением шифрования трафика, по моим замерам это ~5-10% прироста даёт. Ну и можно поиграться со спецификации строки подключения inet4, inet6 ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:25 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Симонов Денисконнект-дисконнект в 3.0 чуть дороже, но вряд ли может так сильно повлиять.на одну пачку одна пара коннект-дисконнект, на меленьких пачках нет разброса по времени. Симонов ДенисLINGER на SS не пробовал ставить чтобы кеш не сбрасывался между коннектами?нет, но можно попробовать. И таки да, специально держал в фоне эксперт, чтобы придержать ОАТ и сброс кэша. Мусора нет, свип пролетает за секунду. Застрявших транзакций нет. Симонов Денис3.0 работает через родной клиентРодной клиент из того же тарбола в офсайта файрберда. Специально шифрование не включал, сейчас покручу. На селекты, кстати говоря, претензий нет. Тестирую уже несколько месяцев, все (или близко к тому) проблемные запросы переловил, где план уползал в "неведомые дали". ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:39 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Это сервер в тестовом режиме или в боевом ? Кроме репликатора у него есть клиенты ? Можно на нём поднять рядом 2.5 и накатывать репликацию и на 2.5 тоже ? Суть - сравнить 2.5 и 3.0 в максимально подобном окружении ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:41 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky, шифрование трафика включено по умолчанию. Я предлагаю попробовать его отключить. Но как я уже сказал это даст не более 5-10% прироста ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:44 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Раз чтение не тормозит, возникает ещё вопрос о настройках файловой системы - журнал, барьер и прочее (тебе виднее). Ну и не помешало бы какой-нить тест random IO, write с мелкими блоками (желательно как страница у БД) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:44 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Симонов Денисшифрование трафика включено по умолчанию. Я предлагаю попробовать его отключить. Но как я уже сказал это даст не более 5-10% прироста Насколько я помню, при этом полностью отпадёт возможность использовать аутентификацию srp. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:54 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
hvladЭто сервер в тестовом режиме или в боевом ?В тестовом, но надо отдавать в работу. hvladКроме репликатора у него есть клиенты ?нет. hvladМожно на нём поднять рядом 2.5 и накатывать репликацию и на 2.5 тоже ?в итоге 2.5 и подниму, только не рядом а вместо и отдам в работу. У первого номера в списке развалился массив и там сейчас спешно сунута десктопная ССДшка, вместо массива, сдохнуть может в любой момент. Долго тестировать не могу, хотел поднять один из филиалов на трешке, но видимо пока не получится. Тестовый стенд подумаю как соорудить, в принципе пара не сильно новых но вполне живых и сильно похожих двухпроцовых железяк под руками будет. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:55 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovНасколько я помню, при этом полностью отпадёт возможность использовать аутентификацию srp.Сейчас все легаси, так что не проблема. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:56 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov, к счастью нет. Кстати аутентификация srp тоже дороже Legacy, но не думаю что это играет хоть какую-нибудь роль в данном случае. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 13:59 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Ivan_PisarevskyВ тестовом, но надо отдавать в работу. Тогда обновись до снапшота. После 3.0.3 много чего фиксилось. Posted via ActualForum NNTP Server 1.5 ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 14:01 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
hvladРаз чтение не тормозит, возникает ещё вопрос о настройках файловой системы - журнал, барьер и прочее (тебе виднее).Беру сервак с центосом 6.7, работал на ура в качестве центрового, ставлю как филиальный - все работает. Сношу 2.5.7, накатываю 3.0.3, отгребаю тормоза, ОСь-железо при этом не меняется. Далее пробую рыпаться по списку в первом посте. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 14:02 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Ivan_Pisarevsky4. игрался с кэшем страничек от 2000 до 2000000 - эффекта нет. а за FileSystemCacheThreshold следил чтобы не был меньше размера страничного кеша? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 14:10 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Dimitry SibiryakovIvan_PisarevskyВ тестовом, но надо отдавать в работу. Тогда обновись до снапшота. После 3.0.3 много чего фиксилось.У меня на десктопе стоит снапшот, только Ось не центос, а SUSE. Отставание на том же самом репликаторе прослеживалось, только я полагал, что железка слабовата. Надеялся, что нормальная железка будет работать не хуже двойки... Похоже надо сооружать тестовый стенд и ловить. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 14:54 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Симонов Дениса за FileSystemCacheThreshold следил чтобы не был меньше размера страничного кеша?поставил 10000000 ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 14:54 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Симонов ДенисIvan_Pisarevsky, шифрование трафика включено по умолчанию. Я предлагаю попробовать его отключить. Но как я уже сказал это даст не более 5-10% прироста WireCrypt = Disabled systemctl restart firebird-superserver те же яйца, только в профиль, поглядел еще пару-тройку циклов обмена, ничего не изменилось. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 16:21 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Симонов ДенисГаджимурадов Рустам, да он потролить зашёл это легкий подкол именно ИП. Кстати, проверил бы и на винде, мало ли какие системные оптимизации при деле (хотя он не сможет ^2) реально я просто тему пометил - посмотреть - ведь с начала выхода 3ки были заметны легкие подтормаживания (но не такие глобальные, все же) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.06.2018, 23:39 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Накатил на испытуемого 2.5.8, классик, никаких системных настроек не крутил, отдал в работу, стоит на номере первом в списке, картинка нормализовалась ... |
|||
:
Нравится:
Не нравится:
|
|||
08.06.2018, 10:06 |
|
Производительность на запись FB 3.0.3
|
|||
---|---|---|---|
#18+
Siemarglэто легкий подкол именно ИПДа без проблем. Siemarglведь с начала выхода 3ки были заметны легкие подтормаживанияБлиже к делу! Явки? Пароли? Подземный стук не интересен, а вот конкретные примеры весьма. Пустой троллинг про вирусы на свеженьком центосе во внутренней сети без выхода наружу я буду и дальше без сожалений удалять. В сухом остатке: до сего дня нагрузочного тестирования записи на трешке я не проводил, проведу и сравню, после отпуска :) . На куче чтений и немного записи все было хорошо (например агрегирование продаж, много читали и писали только выжимки в агрегат). Просто интерактивная работа с поиском товаров по базе, получение отчетов все пристойно. Честно говоря подвоха от репликатора не ждал, его код несколько раз пересмотрел, подвоха не увидел, там всего несколько килобайт на си. Ушел осмыслять, советы пожелания принимаются. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.06.2018, 10:25 |
|
|
start [/forum/topic.php?fid=40&msg=39657366&tid=1560817]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
158ms |
get topic data: |
9ms |
get forum data: |
2ms |
get page messages: |
59ms |
get tp. blocked users: |
1ms |
others: | 311ms |
total: | 568ms |
0 / 0 |