Гость
Форумы / Управление процессом разработки ИС [игнор отключен] [закрыт для гостей] / Инструменты для ведения экспериментов при оптимизации запросов / 25 сообщений из 49, страница 1 из 2
26.08.2020, 18:05
    #39992651
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Коллеги, как вы автоматизируете ведение экспериментов при разработке? Вопрос конкретно по оптимизации запросов.
У меня есть три условных таблицы:

Версии программного кода в git
- sha1
- сообщение

Конфигурации
- порядковый номер конфигурации
- дата бэкапа базы
- релиз
- параметры запроса

Экперименты
- порядковый номер эксперимента
- sha1 из табл Версий
- номер из табл Конф-й
- результаты эксперимента: успешно/неуспешно, описание

Для табл Версий может быть несколько записей в таблицах Конфигураций и Экспериментов.

Используете ли вы какие то инструменты для ведения таблиц Конф, Эксп? Для автоматизации в т.ч.. Как и где вы фиксируете факт успешности эксперимента, неуспешности, кроме как сохранением результатов профайлера. Неуспешные эксперименты тоже нужно хранить и описывать - бывает нужно вернуться для анализа.
Уверен, что все уже придумано. Поделитесь, что именно вы используете.

Может быть у вас более удобные структуры для подобных задач?
...
Рейтинг: 0 / 0
26.08.2020, 20:12
    #39992682
Критик
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0,

У вас описана работа ради работы )

Обычно делается так: запрос отправляется разработчику, разработчик смотрит план запроса и пишет несколько вариантов, из них выбирается самый быстрый. Всё.
...
Рейтинг: 0 / 0
27.08.2020, 02:18
    #39992774
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0
конкретно по оптимизации запросов


зачем их оптимизировать?
плохо работают?
как поняли?
...
Рейтинг: 0 / 0
27.08.2020, 02:20
    #39992775
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Критик
Обычно делается так: запрос отправляется разработчику, разработчик смотрит план запроса и пишет несколько вариантов, из них выбирается самый быстрый. Всё.


Не-не. Обычно, к ПО предъявляются нефункциональные требования.
Если ПО им удовлетворяет, никто не испытывает проблем, значит не надо ничё оптимизировать.

Иначе, надо смотреть где затык, вот там и оптимизировать.

А за преждевременную оптимизацию все знают что делают )
...
Рейтинг: 0 / 0
27.08.2020, 08:38
    #39992806
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Коллеги, я рад что у вас есть разработчик которому можно отдать запрос на оптимизацию, но в данном случае тот разработчик это я.
Вопрос не стоит оптимизировать или нет.
...
Рейтинг: 0 / 0
27.08.2020, 09:11
    #39992811
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0,

Инструментов много.

Метрика.
Профилирование.
Нагрузочные тесты.
Бенчмарки.
Планы запросов.
Статистические данные.

То, о чём вы пишете "версии", "конфигурации", "эксперименты" -- как-то мало относится к деятельности разработчика. Это либо колхоз, либо у вас задач нет, вам на работе заняться нечем, или настоящих задач не дают, вот и приходится заниматься всякой фигнёй.

Почему я так считают? Потому что метод тыка -- метод, который применяется в условиях недостаточного знания или абсолютного незнания. Так, например, люди за тысячи лет научились огонь разводить. После сотен и тысяч смертей, выяснили, какие грибы можно есть, а какие нет.

Не научно. И не интересно, в работе не применимо. Лучше теорию почитать, чтобы бесстыдно не тратить своё время.
...
Рейтинг: 0 / 0
27.08.2020, 09:18
    #39992813
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
hVostt, я в очередной раз вижу, что вам хочется просто воздух потрясти.
Зачем вы мне советуете планы запросов и нагрузочные тесты? Вопрос совсем в другом.
Предлагаю вам создать свою тему и флудить там.
...
Рейтинг: 0 / 0
27.08.2020, 09:20
    #39992816
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Коллеги, еще раз другими словами: вопрос об инструментах ведения записей, связи ревизий гита с результатами экспериментов итд
Вопрос не как оптимизировать, а как вести задачу.
...
Рейтинг: 0 / 0
27.08.2020, 11:54
    #39992888
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0
hVostt, я в очередной раз вижу, что вам хочется просто воздух потрясти.
Зачем вы мне советуете планы запросов и нагрузочные тесты? Вопрос совсем в другом.
Предлагаю вам создать свою тему и флудить там.


Предлагаю вам перестать впредь указывать мне что делать, а то нарвётесь на справедливую грубость.
Если вопрос в другом, так в другом.

Я же вам не указываю, что вы с таким тупыми вопросами больше не писали на этот форум?
Какого хрена вы мне указываете что делать?
...
Рейтинг: 0 / 0
27.08.2020, 13:44
    #39992961
Дмитрий Мух
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0
как вести задачу

В Jira, интегрировав её с системой контроля версий.

Создаёте отдельный проект в Jira для этих ваших экспериментов, настраиваете в нём нужные вам поля и нужное вам воркфлоу.
...
Рейтинг: 0 / 0
27.08.2020, 14:22
    #39992985
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Дмитрий Мух, спасибо, поковыряю
...
Рейтинг: 0 / 0
27.08.2020, 14:22
    #39992986
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
hVostt, флудер опасный, но справедливый)
...
Рейтинг: 0 / 0
28.08.2020, 05:40
    #39993197
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Не совсем удачно здесь назвал таблицу Эксперименты, может это сбило с толку многоуважаемого флудера.
Конечно это выполнения тестов. А экспериментами там могут быть целиком код+прогоны.
...
Рейтинг: 0 / 0
28.08.2020, 16:36
    #39993515
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0
может это сбило с толку многоуважаемого флудера


Если бы не я, вы не уточнили наконец, чего хотите, и не получили ответ :)
С вас пиво
...
Рейтинг: 0 / 0
28.08.2020, 20:04
    #39993637
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
hVostt, иди гуляй, дядя
в первом сообщении все сказано прямым текстом
...
Рейтинг: 0 / 0
28.08.2020, 20:54
    #39993652
Дмитрий Мух
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0,

как часто вы проводите эти свои эксперименты?
и чем вас не устраивает прикрепить результаты в виде отчёта к тому же ишью в Jira?

мне кажется, что вы ожидаете, что мы поймём вас с полуслова
а нам на самом деле не понятно, к чему весь этот кипишь, в чём цель и смысл
...
Рейтинг: 0 / 0
28.08.2020, 22:49
    #39993673
hVostt
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0
hVostt, иди гуляй, дядя
в первом сообщении все сказано прямым текстом


нет уж, это вы пожалуйста найдите себе общество таких же хамоватых неадекватов как вы :)
...
Рейтинг: 0 / 0
29.08.2020, 13:52
    #39993761
Dimitry Sibiryakov
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Дмитрий Мух
а нам на самом деле не понятно, к чему весь этот кипишь, в чём цель и смысл

Да, в общем-то, всё понятно. Автор не умеет оптимизировать запросы и поэтому пользуется методом научного тыка, а тот требует скрупулёзного перечисления неудачных попыток. Запоминать их сложно, на бумажку записывать не модно, вот и хранит их в базе.
...
Рейтинг: 0 / 0
29.08.2020, 16:38
    #39993777
kolobok0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0,

эксперимент. в том числе и с серым-белым ящиком = то больше область тестирования.
и как тут правильно заметили - надо понимать, что и как тестировать.
к сожалению область управления тестированием (имеется ввиду от документации до использования третьих лиц в процессе) - на мой взгляд слабо автоматизирована. Либо необходимо вести разговор об очень больших пакетах софта, зачастую ноу опен. более того - если уж вести разговор за автоматизацию процесса тестирования - то там больше инструментариев для осуществления самих тестов.

если речь об этом - то ссылок на гит не должно быть, а должна быть ссылка на версию продукта. параметры (бэкап) базы - это мало для этой истории. надо ещё версии всех модулей, ось, версии серваков бд и т.д. и т.п..

если Вы планируете помнить инвариантность сиквол запросов - то, как уже прозвучало, оно так не делается. обычно - детектируется узкое место, потом находятся пути решения. оптимизация сиквол запроса - это путь решения заточенный на конкретную траблу. при этом сама оптимизация не может не учитывать ранее пройденные шаги познания в оптимизации. т.е. у вас самая правильная и актуальная версия всегда будет в боевом коде. а история гита (с описывающими текстами в коммитах) будет давать понимания прохождения Вами всех грабелек на этом пути.

Ну или по другому - у вас измениться версия планировщика бд(к примеру) или изменилась загрузка железа или архитектура продукта(загнали всё в контейнеры к примеру) = и все ваши записи сразу-же идут лесом...

как то так
(круглый)
...
Рейтинг: 0 / 0
01.09.2020, 17:24
    #39994559
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Dimitry Sibiryakov
Да, в общем-то, всё понятно. Автор не умеет оптимизировать запросы и поэтому пользуется методом научного тыка
Если вы такие делаете выводы. то я делаю вывод что вы оптимизировать умеете. Тогда скажите. Вы можете, к примеру, до выполнения нагрузочного теста точно сказать, что вот эта попытка с добавлением промежуточной временной таблицы даст требуемый эффект в виде уменьшения длительности выполнения запроса?
Причем этот программный код будет выполнятся с разными параметрами, как в реальных сценариях.
...
Рейтинг: 0 / 0
01.09.2020, 17:26
    #39994560
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
kolobok0
vi0...должна быть ссылка на версию продукта. параметры (бэкап) базы - это мало для этой истории. надо ещё версии всех модулей, ось, версии серваков бд и т.д. и т.п.. Ну или по другому - у вас измениться версия планировщика бд(к примеру) или изменилась загрузка железа или архитектура продукта(загнали всё в контейнеры к примеру) = и все ваши записи сразу-же идут лесом...
это идеальная картина, которая на практике не требуется
всё это меняется редко и не требуется внимания
я не тиражируемым продуктом занимаюсь
...
Рейтинг: 0 / 0
01.09.2020, 17:32
    #39994565
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Дмитрий Мух
vi0,

как часто вы проводите эти свои эксперименты?
и чем вас не устраивает прикрепить результаты в виде отчёта к тому же ишью в Jira?

мне кажется, что вы ожидаете, что мы поймём вас с полуслова
а нам на самом деле не понятно, к чему весь этот кипишь, в чём цель и смысл
Эти свои эксперименты я провожу, к примеру, в рамках одной задачи по оптимизации конкретного запроса, т.е. достаточно часто в этой задаче. В течение дня может быть условно 10+-, в зависимости от сложности.
с жирой еще не смотрел то что вы советовали

повторю - это все таки не эксперименты, а нагрузочные тесты шагов изменения кода при оптимизации
...
Рейтинг: 0 / 0
01.09.2020, 17:39
    #39994567
vi0
vi0
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
Дмитрий Мух
vi0, к чему весь этот кипишь, в чём цель и смысл
цель и смысл такой:
- у меня есть серия своих локальных коммитов с описаниями
- у конкретного коммита есть как минимум один тест с определенными результатами: успешно, неуспешно, и какие то свои выводы из этого
а также материалы этого тестового прогона: трасса профайлера итп

сейчас я пока веду эту таблицу с тестовыми прогонами вручную, отсюда вопрос - а есть ли инструменты
потребность итоговая такая: выбрать любой коммит, и легко получить список его тестовых прогонов, посмотреть результаты прогона, трассы профайлера и т.д.
...
Рейтинг: 0 / 0
01.09.2020, 21:28
    #39994637
L.Otujktd
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0,

Я думаю Вам необходимо посмотреть в сторону документоориентированной бд.
...
Рейтинг: 0 / 0
02.09.2020, 06:25
    #39994668
skyANA
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Инструменты для ведения экспериментов при оптимизации запросов
vi0
Дмитрий Мух
vi0, к чему весь этот кипишь, в чём цель и смысл
цель и смысл такой:
- у меня есть серия своих локальных коммитов с описаниями
- у конкретного коммита есть как минимум один тест с определенными результатами: успешно, неуспешно, и какие то свои выводы из этого
а также материалы этого тестового прогона: трасса профайлера итп

сейчас я пока веду эту таблицу с тестовыми прогонами вручную, отсюда вопрос - а есть ли инструменты
потребность итоговая такая: выбрать любой коммит, и легко получить список его тестовых прогонов, посмотреть результаты прогона, трассы профайлера и т.д.

Хорошо. Выбрать, получить, посмотреть... Чтобы что?
...
Рейтинг: 0 / 0
Форумы / Управление процессом разработки ИС [игнор отключен] [закрыт для гостей] / Инструменты для ведения экспериментов при оптимизации запросов / 25 сообщений из 49, страница 1 из 2
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]