|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordskyANAесли не секрет, а сколько у клиента вообще пользователей? Что за предметная область? У него уже есть какой-то софт? И почему вы не отвечаете за то, что будет при их росте? Вроде обычно интересуются что у клиента будет в ближайшей перспективе. P.S.: ну и удивительно, что вы решаете такую задачу без вменяемого мониторинга на стенде. думаю 500 и есть, либо планируется скоро. При росте в > 500 пользователей, как я написал, мы после тестирования скажем им нужен-ли апгрейд т.к. это выходит за пределы подписанной спецификации. Такие ограничения есть всегда если есть требования к производительности На стенде это еще не обкатано, и он сам-то еще не создан т.к. система не закончена. Все данные тут были с моей машины. Предметная область тут не играет особой роли Всего 500? Тогда Вы страдаете фигней. У нас более восьми миллионов. И они далеко не часто создают ту нагрузку, что Вы тестируете. Вы возьмите в руки калькулятор и посчитайте сколько должно быть пользователей, чтобы обеспечить постоянную рабочую нагрузку хотяб 10 запросов в секунду. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.09.2017, 13:30 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordхех, действительно, а какой год на улице ;) Виртуалки позволяют тестировать не разновидности железяк, а ресурсы выделяемые системе. Там задается процессорная мощность, рам, диски и все остальное. И скажу более того, как минимум несколько клиентов у нас именно так и хостят потом системы, никто давно уже не покупает сервера под систему с набором железяк из спецификации, ставится шина, на которой крутятся десятки или сотни виртуалок для всех систем компании, и каждой из которых на шине выделены необходимые ресурсы. Серьёзно? Я на офисном буке смогу провести тестирование серверного железа в виртуалке? ..ещё смешнее, если это заявляется на серьёзных щах stenfordв потолок ресурсов при одиночном сервере, который сам производит обработку, а не отсылает ее по сети в другое место. И не в "потолок" даже, а просто переключение контекста просто становится неэффективным Да что за бред-то про не эффективное переключение контекста?? Очевидную хрень-то может уже хватит нести?.. ну что за люди... ... |
|||
:
Нравится:
Не нравится:
|
|||
10.09.2017, 17:49 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
skyANAВсего 500? Тогда Вы страдаете фигней. У нас более восьми миллионов. И они далеко не часто создают ту нагрузку, что Вы тестируете. Вы возьмите в руки калькулятор и посчитайте сколько должно быть пользователей, чтобы обеспечить постоянную рабочую нагрузку хотяб 10 запросов в секунду. 8 миллионов одновременно? И как вы производили стресс тестирование? Скажем если условно все 8 миллионов нажмут одну и ту-же кнопку? ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 02:33 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenford- При тестировании, если время отклика слишком большое, то в машинном конфиге надо увеличить количество одновременно выполняемых потоков, но только при условии, что эти потоки занимаются асинхронными вызовами и реально не нагружают систему. На самом деле это 99% всех вебсервисов т.к. они все работают с базами данных. Если-же сервис занимается обработкой чего-то у себя в памяти, то лучше ничего не трогать так, тут будет следующая поправка: В IIS7 по умолчанию maxConcurrentRequestsPerCPU="5000", что фактически делает количество запросов (не потоков) обрабатываемых одновременно очень большим. Т.е. если вебсервер вообще не имеет особой логики и все асинхронно процессится на сервере БД, то улучшить пропускную способность IIS конфигурационными настройками по-сути нельзя (если запросов < 5000) т.к. сервер реально не нагружен даже при тысячах запросов т.к. они реально ничего не делают, а просто ждут. В IIS7 регулировать количество именно потоков напрямую невозможно. https://blogs.msdn.microsoft.com/tmarq/2007/07/20/asp-net-thread-usage-on-iis-7-5-iis-7-0-and-iis-6-0/ Однако, если метод не 100% асинхронный (идут какие-то расчеты после получения данных из БД, логирование итп), то вот тут-то и вступают в игру параметры настройки CLR пула maxWorkerThreads, minWorkerThreads, maxIoThreads, minIoThreads из машинного конфига. Эти настройки помогут в ситуации, когда происходит резкое "взрывное" увеличение "блокирующих" запросов (т.е. не 100% асинхронных), прямо как у меня со стрессовым тестированием. Т.к. CLR пул по умолчанию увеличивает количество потоков очень медленно, эти настройки помогут справится с такой нагрузкой, но ценой памяти сервера. Вообще хороший вопрос стоит-ли их менять на продакшене, т.к. стрессовое тестирование тут довольно искуственный пример нагрузки, а держать увеличенное число поток в памяти отразится на работе сервера в обычном режиме В общем не надо получается путать реквесты и потоки, их настройка изменилась в IIS7, до этого регулировались именно "потоки", а сейчас они абстрагировались в "реквесты", что вносит эту путаницу. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 04:05 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordпрямо как у меня со стрессовым тестированием Которое не имеет никакого отношения к реальности. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 04:45 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordСкажем если условно все 8 миллионов нажмут одну и ту-же кнопку? Это примерно тоже самое, если прикидывать, а что будет, если в многоэтажный дом зайдут столько людей, чтобы занять собой всю доступную жилую площадь, вплотную. И при этом возникнет пожар. Ясно, что существующие пожарные выходы абсолютно не помогут. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 04:51 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
hVosttКоторое не имеет никакого отношения к реальности. раз уж существуют стресс-тесты, значит к реальности это какое-то отношение имеет ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 06:08 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordskyANAВсего 500? Тогда Вы страдаете фигней. У нас более восьми миллионов. И они далеко не часто создают ту нагрузку, что Вы тестируете. Вы возьмите в руки калькулятор и посчитайте сколько должно быть пользователей, чтобы обеспечить постоянную рабочую нагрузку хотяб 10 запросов в секунду. 8 миллионов одновременно?Всего 8 657 139 активных зарегистрированных пользователей. stenfordИ как вы производили стресс тестирование?Определили профиль нагрузки, подготовили стенд и подали на него большую нагрузку. stenfordСкажем если условно все 8 миллионов нажмут одну и ту-же кнопку?То будет downtime :) Но это фантастика. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 10:11 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordhVosttКоторое не имеет никакого отношения к реальности. раз уж существуют стресс-тесты, значит к реальности это какое-то отношение имеет Если в реальности рабочая нагрузка составляет ползапроса в секунду (а скорее одну десятую запроса в секунду), то зачем проводить стресс-тесты? :) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 10:18 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
skyANAЕсли в реальности рабочая нагрузка составляет ползапроса в секунду (а скорее одну десятую запроса в секунду), то зачем проводить стресс-тесты? :) Мне кажется, что ТС пока не имеет опыта, и слабо понимает о чём толком говорит. Поэтому с остервенением бросается в детали, абсолют и оптимизацию на спичках. Это со временем поправимо. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 12:34 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
skyANAВсего 8 657 139 активных зарегистрированных пользователей. То будет downtime :) Но это фантастика. а, ну ясно, какой-нибудь вконтактик. Действительнои, кого будет волновать если фоточка грузится на полминуты дольше. Но не все системы такие толерантные к даунтаймам. В финансовой например, при выходе транзакций из заданного предела в несколько секунд, на провайдера накладываются штрафы в десятки тысяч долларов, а при постоянным проблемах с производительностью могут отобрать лицензию на брент карты. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 15:03 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordskyANAВсего 8 657 139 активных зарегистрированных пользователей. То будет downtime :) Но это фантастика. а, ну ясно, какой-нибудь вконтактик. Действительнои, кого будет волновать если фоточка грузится на полминуты дольше. Но не все системы такие толерантные к даунтаймам. В финансовой например, при выходе транзакций из заданного предела в несколько секунд, на провайдера накладываются штрафы в десятки тысяч долларов, а при постоянным проблемах с производительностью могут отобрать лицензию на брент карты. Извините, но сразу видно, что ничего Вам не ясно. У Вас посылка ложная. 8 миллионов никогда не нажмут одну и ту-же кнопку одновременно. Если это конечно не спланированная DDoS-атака. Но что-то я сильно сомневаюсь, что кто-то когда-либо соберётся DDoS-ить Вашего заказчика :) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 15:21 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenford, Вы только никому не рассказывайте, как потратили время и деньги на это Ваше стресс-тестирования, а потом оказалось, что в пиках у заказчика 5-10 запросов в секунду :) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 15:24 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordа, ну ясно, какой-нибудь вконтактик. Действительнои, кого будет волновать если фоточка грузится на полминуты дольше. Но не все системы такие толерантные к даунтаймам. В финансовой например, при выходе транзакций из заданного предела в несколько секунд, на провайдера накладываются штрафы в десятки тысяч долларов, а при постоянным проблемах с производительностью могут отобрать лицензию на брент карты. Что-то из разряда запусков космолётов к далёким звёздам. Только настоящий эксперт знает, что да как :) Очередные выдумки про несколько секунд и штрафы? Эхх.. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 16:54 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
skyANAstenford, Вы только никому не рассказывайте, как потратили время и деньги на это Ваше стресс-тестирования, а потом оказалось, что в пиках у заказчика 5-10 запросов в секунду :) Да нет никакого стресс-тестирования, очередной выдумщик и фантазёр. Или компания настолько тупая, чтобы нанять полного профана, или в компании это настолько не приоритетное направление, что даже если бы этим занималась обезьяна, всем было бы пофигу. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.09.2017, 16:56 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
skyANAstenford, Вы только никому не рассказывайте, как потратили время и деньги на это Ваше стресс-тестирования, а потом оказалось, что в пиках у заказчика 5-10 запросов в секунду :) никому кроме заказчика, уговорили. Если вы никогда не сталкивались с требованиями к пиковым нагрузкам, то зачем флудить? Мир не ограничивается одними соцсетями с картинками. Юзеры может и не нажмут одну и ту-же кнопку, а вот системы могут выдать спайк запросов в короткий промежуток времени, и обьясняться потом почему лег сервер будет тот, кто говорил о ненужности стресс-тестов ;) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 01:43 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
hVosttДа нет никакого стресс-тестирования, очередной выдумщик и фантазёр. Или компания настолько тупая, чтобы нанять полного профана, или в компании это настолько не приоритетное направление, что даже если бы этим занималась обезьяна, всем было бы пофигу. меня очень сложно обидеть, так что не старайся. Обычно, когда вместо аргументов и каких-то фактов идут оскорбления, то сразу четко видно человека с сильным комплексом неполноценности. Ты, претендуя на авторитета на данном форуме, даже и понятия не имел почему IIS затыкается на стресс-тесте, и не знал как это дело фиксить, и какие у этих фиксов плюсы и минусы. То, что с реальными задачами по производительности ты никогда не имел дело вполне очевидно. Но гонора зато в тебе много, да ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 01:51 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordменя очень сложно обидеть, так что не старайся. Обычно, когда вместо аргументов и каких-то фактов идут оскорбления, то сразу четко видно человека с сильным комплексом неполноценности. Комплекс полноценности детектед. То, что ты профан и фантазёр это не оскорбления, а обычная констатация факта. stenfordТы, претендуя на авторитета на данном форуме, даже и понятия не имел почему IIS затыкается на стресс-тесте, и не знал как это дело фиксить, и какие у этих фиксов плюсы и минусы. То, что с реальными задачами по производительности ты никогда не имел дело вполне очевидно. Но гонора зато в тебе много, да Очередной бред. Расскажи нам ещё что-нибудь про издержки на переключение контекста. Люблю, знаешь ли, комедии ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 08:28 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenford, вы не слышите собеседников, вам говорят просто что требования "глуповаты" и у вас не будет нагрузки такой, вам надо было эт принять и сказать ну коллеги вот что мне сделать в текущих условиях когда у меня тз такое глупое, не более. вас просят дать цифры из Performance Monitor, чтоб подсказать в чем дело ..вы не хотите его изучать и гнете свою линию. у нас около 4к активный магазинов и хз сколько там юзеров в каждом генерируются только 200-250 запросов в секунду. вы реально не понимаете что такое 500 реквестов каждую секунду, вот просто не понимаете. стресс тесты нужны чтоб понять когда у вас там все "наебнется", чисто для вас, чтоб знали что вот будет такое можно так то быстро порешать. хотите тз просто сделать ок добавьте балансировщик и 2-3 инстантс и все готово. можно на одно к примеру на чтение кеш чтоб уменьшить 50мс до 1-2 доступа из кеша.. хотите запись ускорить заюзайте Rabbitmq и потом запись в бд по очереди ..все можно сгладить. пытаться выжать все соки из машины когда блин реально будет работать далеко не так ну нет смысла. преждевременная оптимизация бабки на ветер имхо. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 08:29 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordskyANAstenford, Вы только никому не рассказывайте, как потратили время и деньги на это Ваше стресс-тестирования, а потом оказалось, что в пиках у заказчика 5-10 запросов в секунду :) никому кроме заказчика, уговорили. Если вы никогда не сталкивались с требованиями к пиковым нагрузкам, то зачем флудить? Мир не ограничивается одними соцсетями с картинками. Юзеры может и не нажмут одну и ту-же кнопку, а вот системы могут выдать спайк запросов в короткий промежуток времени, и обьясняться потом почему лег сервер будет тот, кто говорил о ненужности стресс-тестов ;) Да я прекрасно понимаю, что у Вас требования. Но вот честно, откуда Вы взяли, что в пиках будет достигаться 500 запросов в секунду? Ведь простая арифметика говорит, что это 30000 запросов в минуту. Вот объясните мне, себе и заказчику, как 500 пользователей могут её создать? Также поймите, что перед стресс-тестами надо бы рабочий профиль нагрузки определить. Вы это сделали? Какой он? Одна десятая запроса в секунду? Какие пропорции чтения и записи? Если Вы ничего этого не определили, а начали что-то там тестировать просто потому, что заказчик сказал: "у меня 500 пользователей, а вдруг они одновременно нажмут кнопку, надо это проверить", - то не стоит с умным видом рассуждать о том, чем не ограничивается мир. Сайт-то кстати публичный будет? Если да, то не забудьте про то, что ещё и все боты разом на него вдруг могут зайти :) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 09:06 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
handmadeFromRu хотите тз просто сделать ок добавьте балансировщик и 2-3 инстантс и все готово. можно на одно к примеру на чтение кеш чтоб уменьшить 50мс до 1-2 доступа из кеша все-ж уже выяснилось, для того, что-бы "сделать тз" в конкретно моем случае достаточно увеличить число поток CLR. Не потребуется ни лоад балансера, ни каких-то других приседаний. Нужно-ли это в реальном продакшене данной системы - вопрос открытый, да, скорее всего не надо, но это пусть сам клиент решает. А вот для других систем подобные настройки вполне будут нужны и в продакшене, где спайки активности вешь регулярная, и вызваны они не столько юзерами, сколько активностью других систем. ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 09:44 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
skyANAДа я прекрасно понимаю, что у Вас требования. Но вот честно, откуда Вы взяли, что в пиках будет достигаться 500 запросов в секунду? Ведь простая арифметика говорит, что это 30000 запросов в минуту. Вот объясните мне, себе и заказчику, как 500 пользователей могут её создать? вот не в курсе вы, что такое внезапные пики активности, нету их видимо в соц сетях. А вот я такие системы видел, и не одну. Что-бы получить 500 запросов в полсекунды, не надо десятки тысяч запросов в минуту. Надо 500 запросов в полсекунды и ничего более, компрехэнд? И если система ляжет, то половина из этих запросов выдет за пределы лимита, все приехали. Никого не волнует, что остальные минуты система не получает столько запросов и справляется с нагрузкой. Волнует то, что пара сотен запросов в те полсекунды теперь за лимитом, и кто-то за это будет отвечать. Возможно тяжело понять, если не сталкивался с этим, я согласен ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 09:51 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordА вот для других систем подобные настройки вполне будут нужны и в продакшене, где спайки активности вешь регулярная, и вызваны они не столько юзерами, сколько активностью других систем. О каких системах речь? Какая разница, чем вызвана активность? В высоконагруженных системах запрос проходит через множество узлов. Узким местом может оказаться каждый из них. И надо уметь мониторить, тюнить и оптимизировать много чего. И в первую очередь свой код :) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 10:00 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
stenfordskyANAДа я прекрасно понимаю, что у Вас требования. Но вот честно, откуда Вы взяли, что в пиках будет достигаться 500 запросов в секунду? Ведь простая арифметика говорит, что это 30000 запросов в минуту. Вот объясните мне, себе и заказчику, как 500 пользователей могут её создать? вот не в курсе вы, что такое внезапные пики активности, нету их видимо в соц сетях. А вот я такие системы видел, и не одну. Что-бы получить 500 запросов в полсекунды, не надо десятки тысяч запросов в минуту. Надо 500 запросов в полсекунды и ничего более, компрехэнд? И если система ляжет, то половина из этих запросов выдет за пределы лимита, все приехали. Никого не волнует, что остальные минуты система не получает столько запросов и справляется с нагрузкой. Волнует то, что пара сотен запросов в те полсекунды теперь за лимитом, и кто-то за это будет отвечать. Возможно тяжело понять, если не сталкивался с этим, я согласен При чём тут соц. сети? :) С пиками активности я хорошо знаком, могу даже показать их на графиках из Zabbix-а, Grafana, NewRelic. Что за системы Вы видели, если не секрет, можете кокнретные примеры привести? А то с одной стороны у Вас всего 500 пользователей, и предметную область Вы не раскрываете, потому как не важно это. А с другой какие-то финансовые транзакции, системы с 1000 запросов в секунду в пиках. Выглядит так, будто Вы понимаете, что у заказчика сайт взлетит и на табурете, но хотите помечтать о чём-то большом :) ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 10:08 |
|
Оптимизация отклика от IIS
|
|||
---|---|---|---|
#18+
skyANAЧто за системы Вы видели, если не секрет, можете кокнретные примеры привести? А то с одной стороны у Вас всего 500 пользователей, и предметную область Вы не раскрываете, потому как не важно это. А с другой какие-то финансовые транзакции, системы с 1000 запросов в секунду в пиках. Выглядит так, будто Вы понимаете, что у заказчика сайт взлетит и на табурете, но хотите помечтать о чём-то большом :) как я уже говорил, в конкретно этом случае я согласен, что стресс тест тут довольно искуственнен, и вряд-ли будет хорошей идеей тьюнить потоки CLR пула на продакшене. Но это, как я уже тоже говорил, не отменяет того факта, что системы где отклик будет критичен существуют, и мне важно было понять что-же тут происходит. Конкретные примеры легко, практически все финансовые системы с которыми я работал являлись критичными к времени отклика. Мне не надо про них мечтать, я с ними не один год работал, и провел массу своего рабочего времени занимаясь их перформанс тьюнингом. Самый легкодоступный пример пожалуй именно с финансовыми транзакциями. Вот есть у тебя кредитка, которой ты платишь где-то в интернете. Когда ты нажал кнопку Оплатить, эти данные отправились в твой банк-провайдер для авторизации. Банк не просто проверил твой баланс и отправил ответ, он еще много чего с этой транзакцией сделал. Например проверил на мошенничество, на случай если хакер украл номер твоей кредитки и пытается ей заплатить от твоего имени. Эта проверка не пара хранимых процедур в базе перед инсертом. Это - полноценная система, которая живет на своей виртуалке, имеет свою базу и прочее. Она будет давать простой ответ - насколько транзакция подозрительная на основании ряда правил и политик. Но есть условие - ответ должен быть получен в течении 2-4 секунд, если ответ не получен в течении этого времени - результат проверки уже не будет никого интересовать. Никто этой системе не даст думать 10 секунд пока IIS тупит с потоками. Шина, в которую встроена эта система просто пойдет дальше и в зависимости от бизнес правил одобрит транзакцию или отклонит. В случае если одобрит, а транзакция была от хакера - банк с определенной вероятностью эти деньги потеряет. В случае сотни транзакций по штуке баксов - потеря будет 100 тысяч долларов. У меня ломали кредитку несколько лет назад - попытались снять 6 тысяч баксов. К счастью она была отклонена. И это я еще не говорю про политики той-же Мастеркард например, и что она делает с нерадивыми провайдерами ... |
|||
:
Нравится:
Не нравится:
|
|||
12.09.2017, 13:00 |
|
|
start [/forum/topic.php?fid=18&msg=39518942&tid=1355140]: |
0ms |
get settings: |
9ms |
get forum list: |
13ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
132ms |
get topic data: |
11ms |
get forum data: |
3ms |
get page messages: |
55ms |
get tp. blocked users: |
1ms |
others: | 265ms |
total: | 497ms |
0 / 0 |