Гость
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Оценка сумарного времени выполнения запросов на изменение / 23 сообщений из 23, страница 1 из 1
03.03.2020, 20:13
    #39933717
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
Появилась одна специфическая задача. Оценить для произвольной системы суммарного вклада Времени, ЦПУ, reads(количество запросов тоже важно) со стороны запросов приводящих к изменению данных. Снятие полной трассы не дает нужной информации. Моя методика следующая. Готовим демо-стенд. На стенде запускаем мониторинг(счетчики, sysprocesses). Запускаем нужную операцию(например проведением документов в 1С) с логированием времени. Отдельно смотрим интегральный ЦПУ и reads по spid.(в идеале в начале процесса и в конце получаем значение инициируемое приложением из sysprocesses) Разумеется делаем это несколько раз. Затем генерируем на систему триггеры на изменение(репликацию). Затем откатываем систему до исходного состояния(бэкап, откат проведения и т.п.). А затем включаем агент репликации и накатываем очередь записывая время, ЦПУ, reads. Сравнивая данные с первого замера и с замера воспроизведения репликации получаем отношение. Если есть проще варианты или точнее? - то расскажите о них. Заранее спасибо.
P.s. это нужно для оценки эффекта кластерной системы. Там данные на запись пишутся на одну ноду а чтение распределяется по другим нодам. В зависимости от отношения(чтение - запись) будет эффект максимального масштабирования. Разумеется могут быть хранимки со сложной логикой чтение-запись и будут погрешности но тем не менее, хотя бы что-то.
...
Рейтинг: 0 / 0
04.03.2020, 02:01
    #39933794
Idol_111
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу,

Железо в идеале нужно оценивать на уровне железа.

А если Вам просто все в комплексе надо оценить (с кучей допущений), то Query Store и Data Collection вполне подойдут для этого.
...
Рейтинг: 0 / 0
04.03.2020, 08:12
    #39933863
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу,

Вот это копание в трассировках, оно конечно нужный шаг, но если этим приходится заниматься постоянно, то это свидетельство того, что база спроектирована неправильно и что код написан криво. Нужно систему перепроектировать и логику переписывать (естественно на это скажут, что нет времени и ресурсов и надо вбивать костыли).
...
Рейтинг: 0 / 0
04.03.2020, 11:43
    #39933971
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
(Idol_111) Интересно как оценивать железо на уровне железа? (масло маслянистое,вода водянистая;)) Я знаю про нагрузочные тесты типа tpc-c,h... ? Вы про них?, так там подобный вопрос который я поднимаю один из краеугольных.
Про Query Store и Data Collection можно подробнее?
Один из вариантов в трассе собрать все конструкции привести их к воспроизводимому виду выделить предварительно что не тривиальная задача, и одним батчем(если возможно) выполнить. Замеры по трассе не дадут приемлимого результата так как время выполнения может быть маленьким(инсерт, апдейт по ключу) и возникает проблема округления и неверной оценки.
...
Рейтинг: 0 / 0
04.03.2020, 11:46
    #39933975
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
a_voronin,
Ну как бы работаю в компании которая помогает другим исправить косяки архитектуры,кода и т.п. Поэтому этим приходится заниматься постоянно, и хочется все автоматизировать, упростить.
...
Рейтинг: 0 / 0
04.03.2020, 11:50
    #39933981
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
А еще забавно спорить со специалистами о подобных соотношениях, а потом когда спрашиваешь о методике измерения то выясняется, что считалось все на глазок.(если вообще считалось)
...
Рейтинг: 0 / 0
04.03.2020, 12:39
    #39934040
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу,

практическую ценности при сравнении имеет сравнение конечных измерений, а не технологических. Например, поставили супер-компьютер, а время вычислений мало изменилось. Можно сделать вывод, что затраты на супер-компьютер излишние, надо менять что-то ещё - сетевое оборудования, например.
...
Рейтинг: 0 / 0
04.03.2020, 12:59
    #39934068
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
У нас закупки по пол года в некоторых компаниях согласуются, представляю себе поменяли серверок - эх не угадали;) Ну потом могут ИТ директора на выход попросить.
Ценность имеет то что можно измерить и обосновать. К примеру я привел оценочную задачу для тестового стенда, для рабочей системы задача на порядок сложнее.
...
Рейтинг: 0 / 0
04.03.2020, 14:04
    #39934153
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу,

в таком случае можно только гадать, что получится. Тестовая среда всего лишь моделирует архитектуру, но никак не производственную нагрузку, т.к. находится на системе заведомо другой конфигурации "железа".
...
Рейтинг: 0 / 0
04.03.2020, 16:09
    #39934245
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
Владислав Колосов,

Согласен, моделирование правильной (сопоставимой с продакт)тестовой нагрузки задача непростая и дорогая. Обычно все забивают на это;)
...
Рейтинг: 0 / 0
04.03.2020, 17:14
    #39934289
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу,

думаю, что существует какое-то эмпирическое соотношение между писателями и читателями, по которому принимается решение о кластеризации. Или производственная необходимость, сбор данных для аналитики может занимать существенное время.
...
Рейтинг: 0 / 0
04.03.2020, 17:35
    #39934296
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу
Владислав Колосов,

Согласен, моделирование правильной (сопоставимой с продакт)тестовой нагрузки задача непростая и дорогая. Обычно все забивают на это;)


Вот что вы такое рассказываете. Снимаете скрипты с существующей прод базы, поднимаете бекап. Оборачаваете скрипты в цикл, если имеется такая возможность. И долбите ими клон поднятый из бекапа параллельными потоками.

Оцениваете что там твориться. Какие-то суперпланы непонятно чего. Взяли скрипты и пошли долбить пока серваку не поплохеет.
...
Рейтинг: 0 / 0
04.03.2020, 17:44
    #39934300
Владислав Колосов
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
a_voronin,

а смысл его долбать, если на тестовом 4 ядра вместо 40.
...
Рейтинг: 0 / 0
04.03.2020, 18:50
    #39934328
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
a_voronin,

Да, ладно. Воспроизводить например на 1с не пробовали? Не говоря что снятие подразумевает нагрузку на продакшн. Это все красиво в теории.
...
Рейтинг: 0 / 0
05.03.2020, 07:52
    #39934418
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу
a_voronin,

Да, ладно. Воспроизводить например на 1с не пробовали? Не говоря что снятие подразумевает нагрузку на продакшн. Это все красиво в теории.


Я такие операции проводил неоднократно. В том числе у стороннего заказчика. И что за запросы пускает 1С мне известно. Про нагрузку на продакш -- это сказки, в которые верят те, кто никогда не трассировали боевой сервер и бояться запустить на нем профайлер или Extened Events.

А ваше "Да, ладно" говорит о том, что с какой стороны подходить к оптимизации производительности вы не знаете или боитесь, что заказчик скажет "ой" и с таким подходом вы никуда не продвинетесь.

Иначе вы давно бы собрали трассировку запросов и уже давно ответили бы на вопрос, что тормозит.
...
Рейтинг: 0 / 0
05.03.2020, 10:19
    #39934476
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
Ну даже не знаю чего сказать. Не хотел но скину ссылку. Там можете о компании потом почитать про мониторинги и тп продукты по этой тематике.
http://softpoint.ru/news/softpoint-pobeditel-konkursa-microsoft-partner-goda-2016-v-rossii/
...
Рейтинг: 0 / 0
05.03.2020, 10:24
    #39934480
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
Впрочем я готов конструктивно поспорить на тему воспроизводимости, многопоточных операций,заполнения темповых таблиц и затем их использования, создания курсоров и использование их через 20 мин, и многое другое. К тому же когда мы говорим про продакшн, то тут бывают системы с десятками тысяч запросов в секунду(по соглашениям конфиденциальности мне их называть нельзя)
...
Рейтинг: 0 / 0
05.03.2020, 10:32
    #39934485
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
А вот конкретно по тематике продукт который к сожалению не стал коробочным в силу многочисленных технологических проблем.
http://softpoint.ru/solutions/traffic-simulator/
...
Рейтинг: 0 / 0
05.03.2020, 10:32
    #39934486
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу
Ну даже не знаю чего сказать. Не хотел но скину ссылку. Там можете о компании потом почитать про мониторинги и тп продукты по этой тематике.
http://softpoint.ru/news/softpoint-pobeditel-konkursa-microsoft-partner-goda-2016-v-rossii/


Прочитал. Пускание пили в глаза. Попытка отправить часть запросов на реплику. Немного поможет, но при БД с кривой архитектурой -- деньги на ветер.

Есть решения типа ничего не переписываем, суем на мощное железо, в облако и т.п. Помогают но не на долго. Зато позволяют освоить бабки.

При этом не задумываемся, что у нас первичные ключи типа NVARCHAR(20), огромные блобы в одной таблице с часто обновляемыми данными, никакого партиционирования, таблицы обвешаны 10-20 индексами в попытках написать поисковик, внешние ключи указывают на таблицы со скоростной вставкой и т.п.
...
Рейтинг: 0 / 0
05.03.2020, 10:39
    #39934493
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
Я на тему аудитов производительности и средств мониторинга даже спорить с вами не хочу. Было утверждение что воспроизвести нагрузку многопоточной системы можно на раз-два? Я таки готов вам предложить выгодные финансовые условия(для подобных работ), раз вы такой молодец;) Только аргументация для клиента должна быть посерьезней.
...
Рейтинг: 0 / 0
05.03.2020, 10:51
    #39934502
invm
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
...
Рейтинг: 0 / 0
05.03.2020, 11:09
    #39934516
a_voronin
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
МуМу
Я на тему аудитов производительности и средств мониторинга даже спорить с вами не хочу. Было утверждение что воспроизвести нагрузку многопоточной системы можно на раз-два? Я таки готов вам предложить выгодные финансовые условия(для подобных работ), раз вы такой молодец;) Только аргументация для клиента должна быть посерьезней.


Я прямо сейчас уже занят такого рода переделкой на хороших финансовых условиях. Переделываю творение умников, которые делали хранилище не имея представления о суррогатных ключах, где JOIN и DISTINCT COUNT считаются от NVARCHAR(20-50), а группировки делаются по 20 полям.

И перепроигрыванием запросов я занимался буквально недавно, правда речь идет об MDX на OLAP кубах. Накидал многопоточную утилиту на C# сам за 2 часа.

И помимо MS SQL я активно работаю ещё с VERTICA.
...
Рейтинг: 0 / 0
06.03.2020, 00:58
    #39934982
МуМу
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Оценка сумарного времени выполнения запросов на изменение
Ну тогда мои поздравления, и даже не знаю чего предложить;)
...
Рейтинг: 0 / 0
Форумы / Microsoft SQL Server [игнор отключен] [закрыт для гостей] / Оценка сумарного времени выполнения запросов на изменение / 23 сообщений из 23, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]