|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Коллеги, как вы автоматизируете ведение экспериментов при разработке? Вопрос конкретно по оптимизации запросов. У меня есть три условных таблицы: Версии программного кода в git - sha1 - сообщение Конфигурации - порядковый номер конфигурации - дата бэкапа базы - релиз - параметры запроса Экперименты - порядковый номер эксперимента - sha1 из табл Версий - номер из табл Конф-й - результаты эксперимента: успешно/неуспешно, описание Для табл Версий может быть несколько записей в таблицах Конфигураций и Экспериментов. Используете ли вы какие то инструменты для ведения таблиц Конф, Эксп? Для автоматизации в т.ч.. Как и где вы фиксируете факт успешности эксперимента, неуспешности, кроме как сохранением результатов профайлера. Неуспешные эксперименты тоже нужно хранить и описывать - бывает нужно вернуться для анализа. Уверен, что все уже придумано. Поделитесь, что именно вы используете. Может быть у вас более удобные структуры для подобных задач? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.08.2020, 18:05 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0, У вас описана работа ради работы ) Обычно делается так: запрос отправляется разработчику, разработчик смотрит план запроса и пишет несколько вариантов, из них выбирается самый быстрый. Всё. ... |
|||
:
Нравится:
Не нравится:
|
|||
26.08.2020, 20:12 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0 конкретно по оптимизации запросов зачем их оптимизировать? плохо работают? как поняли? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 02:18 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Критик Обычно делается так: запрос отправляется разработчику, разработчик смотрит план запроса и пишет несколько вариантов, из них выбирается самый быстрый. Всё. Не-не. Обычно, к ПО предъявляются нефункциональные требования. Если ПО им удовлетворяет, никто не испытывает проблем, значит не надо ничё оптимизировать. Иначе, надо смотреть где затык, вот там и оптимизировать. А за преждевременную оптимизацию все знают что делают ) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 02:20 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Коллеги, я рад что у вас есть разработчик которому можно отдать запрос на оптимизацию, но в данном случае тот разработчик это я. Вопрос не стоит оптимизировать или нет. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 08:38 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0, Инструментов много. Метрика. Профилирование. Нагрузочные тесты. Бенчмарки. Планы запросов. Статистические данные. То, о чём вы пишете "версии", "конфигурации", "эксперименты" -- как-то мало относится к деятельности разработчика. Это либо колхоз, либо у вас задач нет, вам на работе заняться нечем, или настоящих задач не дают, вот и приходится заниматься всякой фигнёй. Почему я так считают? Потому что метод тыка -- метод, который применяется в условиях недостаточного знания или абсолютного незнания. Так, например, люди за тысячи лет научились огонь разводить. После сотен и тысяч смертей, выяснили, какие грибы можно есть, а какие нет. Не научно. И не интересно, в работе не применимо. Лучше теорию почитать, чтобы бесстыдно не тратить своё время. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 09:11 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
hVostt, я в очередной раз вижу, что вам хочется просто воздух потрясти. Зачем вы мне советуете планы запросов и нагрузочные тесты? Вопрос совсем в другом. Предлагаю вам создать свою тему и флудить там. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 09:18 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Коллеги, еще раз другими словами: вопрос об инструментах ведения записей, связи ревизий гита с результатами экспериментов итд Вопрос не как оптимизировать, а как вести задачу. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 09:20 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0 hVostt, я в очередной раз вижу, что вам хочется просто воздух потрясти. Зачем вы мне советуете планы запросов и нагрузочные тесты? Вопрос совсем в другом. Предлагаю вам создать свою тему и флудить там. Предлагаю вам перестать впредь указывать мне что делать, а то нарвётесь на справедливую грубость. Если вопрос в другом, так в другом. Я же вам не указываю, что вы с таким тупыми вопросами больше не писали на этот форум? Какого хрена вы мне указываете что делать? ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 11:54 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0 как вести задачу В Jira, интегрировав её с системой контроля версий. Создаёте отдельный проект в Jira для этих ваших экспериментов, настраиваете в нём нужные вам поля и нужное вам воркфлоу. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 13:44 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Дмитрий Мух, спасибо, поковыряю ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 14:22 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
hVostt, флудер опасный, но справедливый) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.08.2020, 14:22 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Не совсем удачно здесь назвал таблицу Эксперименты, может это сбило с толку многоуважаемого флудера. Конечно это выполнения тестов. А экспериментами там могут быть целиком код+прогоны. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2020, 05:40 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0 может это сбило с толку многоуважаемого флудера Если бы не я, вы не уточнили наконец, чего хотите, и не получили ответ :) С вас пиво ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2020, 16:36 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
hVostt, иди гуляй, дядя в первом сообщении все сказано прямым текстом ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2020, 20:04 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0, как часто вы проводите эти свои эксперименты? и чем вас не устраивает прикрепить результаты в виде отчёта к тому же ишью в Jira? мне кажется, что вы ожидаете, что мы поймём вас с полуслова а нам на самом деле не понятно, к чему весь этот кипишь, в чём цель и смысл ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2020, 20:54 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0 hVostt, иди гуляй, дядя в первом сообщении все сказано прямым текстом нет уж, это вы пожалуйста найдите себе общество таких же хамоватых неадекватов как вы :) ... |
|||
:
Нравится:
Не нравится:
|
|||
28.08.2020, 22:49 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Дмитрий Мух а нам на самом деле не понятно, к чему весь этот кипишь, в чём цель и смысл Да, в общем-то, всё понятно. Автор не умеет оптимизировать запросы и поэтому пользуется методом научного тыка, а тот требует скрупулёзного перечисления неудачных попыток. Запоминать их сложно, на бумажку записывать не модно, вот и хранит их в базе. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2020, 13:52 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0, эксперимент. в том числе и с серым-белым ящиком = то больше область тестирования. и как тут правильно заметили - надо понимать, что и как тестировать. к сожалению область управления тестированием (имеется ввиду от документации до использования третьих лиц в процессе) - на мой взгляд слабо автоматизирована. Либо необходимо вести разговор об очень больших пакетах софта, зачастую ноу опен. более того - если уж вести разговор за автоматизацию процесса тестирования - то там больше инструментариев для осуществления самих тестов. если речь об этом - то ссылок на гит не должно быть, а должна быть ссылка на версию продукта. параметры (бэкап) базы - это мало для этой истории. надо ещё версии всех модулей, ось, версии серваков бд и т.д. и т.п.. если Вы планируете помнить инвариантность сиквол запросов - то, как уже прозвучало, оно так не делается. обычно - детектируется узкое место, потом находятся пути решения. оптимизация сиквол запроса - это путь решения заточенный на конкретную траблу. при этом сама оптимизация не может не учитывать ранее пройденные шаги познания в оптимизации. т.е. у вас самая правильная и актуальная версия всегда будет в боевом коде. а история гита (с описывающими текстами в коммитах) будет давать понимания прохождения Вами всех грабелек на этом пути. Ну или по другому - у вас измениться версия планировщика бд(к примеру) или изменилась загрузка железа или архитектура продукта(загнали всё в контейнеры к примеру) = и все ваши записи сразу-же идут лесом... как то так (круглый) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.08.2020, 16:38 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Dimitry Sibiryakov Да, в общем-то, всё понятно. Автор не умеет оптимизировать запросы и поэтому пользуется методом научного тыка Причем этот программный код будет выполнятся с разными параметрами, как в реальных сценариях. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:24 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
kolobok0 vi0...должна быть ссылка на версию продукта. параметры (бэкап) базы - это мало для этой истории. надо ещё версии всех модулей, ось, версии серваков бд и т.д. и т.п.. Ну или по другому - у вас измениться версия планировщика бд(к примеру) или изменилась загрузка железа или архитектура продукта(загнали всё в контейнеры к примеру) = и все ваши записи сразу-же идут лесом... всё это меняется редко и не требуется внимания я не тиражируемым продуктом занимаюсь ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:26 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Дмитрий Мух vi0, как часто вы проводите эти свои эксперименты? и чем вас не устраивает прикрепить результаты в виде отчёта к тому же ишью в Jira? мне кажется, что вы ожидаете, что мы поймём вас с полуслова а нам на самом деле не понятно, к чему весь этот кипишь, в чём цель и смысл с жирой еще не смотрел то что вы советовали повторю - это все таки не эксперименты, а нагрузочные тесты шагов изменения кода при оптимизации ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:32 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
Дмитрий Мух vi0, к чему весь этот кипишь, в чём цель и смысл - у меня есть серия своих локальных коммитов с описаниями - у конкретного коммита есть как минимум один тест с определенными результатами: успешно, неуспешно, и какие то свои выводы из этого а также материалы этого тестового прогона: трасса профайлера итп сейчас я пока веду эту таблицу с тестовыми прогонами вручную, отсюда вопрос - а есть ли инструменты потребность итоговая такая: выбрать любой коммит, и легко получить список его тестовых прогонов, посмотреть результаты прогона, трассы профайлера и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 17:39 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0, Я думаю Вам необходимо посмотреть в сторону документоориентированной бд. ... |
|||
:
Нравится:
Не нравится:
|
|||
01.09.2020, 21:28 |
|
Инструменты для ведения экспериментов при оптимизации запросов
|
|||
---|---|---|---|
#18+
vi0 Дмитрий Мух vi0, к чему весь этот кипишь, в чём цель и смысл - у меня есть серия своих локальных коммитов с описаниями - у конкретного коммита есть как минимум один тест с определенными результатами: успешно, неуспешно, и какие то свои выводы из этого а также материалы этого тестового прогона: трасса профайлера итп сейчас я пока веду эту таблицу с тестовыми прогонами вручную, отсюда вопрос - а есть ли инструменты потребность итоговая такая: выбрать любой коммит, и легко получить список его тестовых прогонов, посмотреть результаты прогона, трассы профайлера и т.д. Хорошо. Выбрать, получить, посмотреть... Чтобы что? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.09.2020, 06:25 |
|
|
start [/forum/topic.php?fid=37&msg=39994565&tid=1555226]: |
0ms |
get settings: |
7ms |
get forum list: |
5ms |
check forum access: |
1ms |
check topic access: |
1ms |
track hit: |
32ms |
get topic data: |
2ms |
get forum data: |
1ms |
get page messages: |
431ms |
get tp. blocked users: |
0ms |
others: | 388ms |
total: | 868ms |
0 / 0 |