Гость
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Имитация нагрузок / 12 сообщений из 12, страница 1 из 1
23.05.2018, 13:31
    #39648662
Щиче
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
Есть некая оптимизация ПО. Для того, чтобы её оценить, требуется создать нагрузку на стенде. Надо, чтобы кэши ОС и БД, нагрузка на CPU и I/O соответствовали нагрузке в магазине. Минимум управления: даем нагрузки, чтобы load average: был: 0,25 потом 0,5 затем 0,75 и 1.
Стенд работает на Debian.

Вопрос в том как это сделать? nice, renice, непригодны. Есть хорошая утилита, cpulimit. Но она контролирует лишь долю процессора отпущенного машине. Порекомендуйте средства создания нагрузки, пожалуйста.

P.S. Начальство никогда не позволит проверять на реальной машине. Так же оно требует измерений на разных режимах, под которые реальный production подлаживаться не будет.
...
Рейтинг: 0 / 0
23.05.2018, 13:54
    #39648705
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
ЩичеЕсть некая оптимизация ПО. Для того, чтобы её оценить, требуется создать нагрузку на стенде. Надо, чтобы кэши ОС и БД, нагрузка на CPU и I/O соответствовали нагрузке в магазине. Минимум управления: даем нагрузки, чтобы load average: был: 0,25 потом 0,5 затем 0,75 и 1.
Стенд работает на Debian.

Вопрос в том как это сделать? nice, renice, непригодны. Есть хорошая утилита, cpulimit. Но она контролирует лишь долю процессора отпущенного машине. Порекомендуйте средства создания нагрузки, пожалуйста.

P.S. Начальство никогда не позволит проверять на реальной машине. Так же оно требует измерений на разных режимах, под которые реальный production подлаживаться не будет.

Задача load test очень сложная, Mercury/HP Load Runner - по стоимости, не дешевле, а то и дороже того же oracle. Не всегда тормозом будет CPU/диск, чаще основная причина конкуренция за другие, совсем не очевидные ресурсы.

Для СУБД например, рост количества одинаковых легких запросов дает рост нагрузки на систему достаточно плавно, зато несколько количество тяжелых, неоптимальных запросов могут положить даже неплохой сервер.

Есть варианты записи/проигрывания нагрузки боевого сервера, как для потока http запросов, так и для потока запросов к базе:
Top 15 Performance Testing Tools of 2018: Load Testing Tools List

Основная проблема в том, что для полноценного тестирования нужен генератор данных, а чтобы его правильно реализовать, требуется разбираться в приложении, который тестируешь.

Поэтому проще, если Вы являетесь разработчиками этой системы, написать программу генератор типичной нагрузки.
...
Рейтинг: 0 / 0
24.05.2018, 07:29
    #39649115
Щиче
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
Vadim Lejnin, спасибо
...
Рейтинг: 0 / 0
24.05.2018, 08:17
    #39649125
982183
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
ЩичеОсновная проблема в том, что для полноценного тестирования нужен генератор данных, а чтобы его правильно реализовать, требуется разбираться в приложении, который тестируешь.
Так у него же есть копия рабочей базы.
ЩичеПоэтому проще, если Вы являетесь разработчиками этой системы, написать программу генератор типичной нагрузки.
Во-во. осталось только понять наиболее частые или наиболее трудоемкие запросы/операции, и запустить их с периодичностью, в разы превышающую максимальную рабочую.
...
Рейтинг: 0 / 0
24.05.2018, 09:27
    #39649162
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
982183ЩичеОсновная проблема в том, что для полноценного тестирования нужен генератор данных, а чтобы его правильно реализовать, требуется разбираться в приложении, который тестируешь.
Так у него же есть копия рабочей базы.
ЩичеПоэтому проще, если Вы являетесь разработчиками этой системы, написать программу генератор типичной нагрузки.
Во-во. осталось только понять наиболее частые или наиболее трудоемкие запросы/операции, и запустить их с периодичностью, в разы превышающую максимальную рабочую.

это и является главной задачей load test
...
Рейтинг: 0 / 0
29.05.2018, 07:17
    #39651456
Щиче
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
У меня копия рабочей базы. Реальную смотреть нельзя. Можно ориентироваться лишь по старым снимкам статистических таблиц. В организации мощнейшая бюрократия и прохождение задачи в течение полугода считается нормальным. Нормальным считается и то, что нет DBA, нет возможности проверить работу индексов на реальной базе и отслеживать её состояние непосредственно. Вот тебе запрос - надо добиться 20% оптимизации.
...
Рейтинг: 0 / 0
29.05.2018, 07:26
    #39651459
982183
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
Копия базы у тебя на "том же" или "на таком же" сервере?
В чем проблема "создать нагрузку"?
Нет статистики по выполняемым задачам?
Или нет свободного персонала или свободного времени у него?
...
Рейтинг: 0 / 0
29.05.2018, 08:57
    #39651489
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
ЩичеВот тебе запрос - надо добиться 20% оптимизации.В такой формулировке - никаких проблем.
Сняли исходную статистику при произвольной стендовой нагрузке, что-то сделали, сняли статистику и пометили задачу выполненной, добившись требуемого улучшения исходных показателей.
Если на рабочей базе улучшение не воспроизведётся - это будет другая и отдельно решаемая задача.
...
Рейтинг: 0 / 0
29.05.2018, 09:01
    #39651492
Basil A. Sidorov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
ЩичеПорекомендуйте средства создания нагрузки, пожалуйста. Apache JMeter , например.
...
Рейтинг: 0 / 0
Период между сообщениями больше года.
30.09.2019, 14:15
    #39869158
nickkarlsson552
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
Щиче, Единственное решение вашей проблемы - вам нужен хороший инструмент для тестирования производительности, вот список лучших инструментов:
https://reqtest.com/testing-blog/performance-testing-tools/
...
Рейтинг: 0 / 0
01.10.2019, 19:39
    #39870231
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
nickkarlsson552Щиче, Единственное решение вашей проблемы - вам нужен хороший инструмент для тестирования производительности, вот список лучших инструментов:
https://reqtest.com/testing-blog/performance-testing-tools/
Вот именно инструмент, а не автомат.

Если Вам дать бензопилу, как быстро Вы построите даже самый простенький сарай?
Даже для самого навороненного инструмента - LoadRunner, нужны очень не дешевые, подготовленные специалисты.

Сам занимался тестированием проекта этим инструментом.
И если снять/проиграть нагрузку на копии единственной базы достаточно просто, то вот написать масштабируемый тест, без знания приложения уже очень тяжело.
Не надо верить рекламным заявлением.
В реальности, если у Вас смешанная нагрузка от нескольких связанных приложений web/java service/oltp, требуется разворачивание целой инфраструктуры для этого.

Банально, разработать нагрузочный тест такой системы для планируемой 10х нагрузки просто и быстро не получится.

Например: согласованная генерация номеров карт/счетов, адекватная генерация примеров банковских операций и так далее.
Тут будет кропотливая работа с разработкой скриптов тестирования, причем нужно учитывать планируемые подключения новых подсистем, для которых еще не существует нагрузки.

Стоимость такого проекта будет очень чувствительная даже для очень богатой организации.
Но применение данного продукта, позволит проводить предварительное тестирование патчей и обновлений системы, рассчитывать закупки/обновление инфраструктуры.

В целом, такие траты, могут себе позволить только очень серьезные организации.
Для остальных, дешевле провести функциональное тестирование бизнес критических компонентов, заложить запас производительности инфраструктуры, а проблемы решать в режиме ошпаренной кошки.

К сожалению, именно потому, стоимость универсальных систем нагрузочного тестирования запредельна.
...
Рейтинг: 0 / 0
01.10.2019, 19:41
    #39870233
Vadim Lejnin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Имитация нагрузок
Особенно, если у Вас десяток тесно связанных баз через dblink.
...
Рейтинг: 0 / 0
Форумы / Unix-системы [игнор отключен] [закрыт для гостей] / Имитация нагрузок / 12 сообщений из 12, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]