Добрый день.
Я занимаюсь организацией и внедрением процесса тестирования в процесс разработки в отделе информационных технологий предприятия.
Очень волнует вопрос - по каким количественным признакам можно (в цифрах) оценить работу специалиста по тестированию, на основании каких артефактов, кроме полученных приоритезированных дефектов, можно это сделать?
...Например, сравнительный анализ скорости исправления дефектов на двух итерациях может говорить об изменении эффективности исправления дефектов разработчиками (в %).
Если у кого либо есть информация по формальным критериям оценки деятельности специалиста по тестированию было бы небезинтересно ее получить.
ихмо, главный показатель работы тестировщика - это количество пострелизных багов отнесенное к объему функционала. Все остальное от лукавого =) наше все
pirovindosКритерий от противного :)
Количество багов, которые нашли пользователи после выпуска релиза.
Даже лучше использовать в качестве критерия оценки отношение количества багов, найденных пользователями, к общему количеству зафиксированных дефектов, в процентах. Чем меньше процент, тем выше качество тестирования. Причем, для оценки можно ограничить срок получения багов от пользователей для расчета отношения.
А что можно использовать еще, какие еще формальные критерии оценки работы специалиста по тестированию можно применить?
Согласен, процент лучше. Это - абсолютная оценка эффективности тестировщика. Есть еще относительная (сравнение работы нескольких тестировщиков): количество выполненных тестов за единицу времени, конечно, при примерно равных показателях абсолютной эффективности.
pirovindosколичество выполненных тестов за единицу времени
количество в явном виде точно не катит. Как вариант ввести градацию сложности тест кейсов (например, от 1 до 5), сумма сложностей тестов, выполненных за отчетный период, будет чем-то показательным.
На самом деле все еще хуже. По моим наблюдениям, выполнение теста, при котором ошибок не обнаружено, занимает на порядок меньше времени, чем выполнение теста, при котором ошибки найдены...
pirovindosНа самом деле все еще хуже. По моим наблюдениям, выполнение теста, при котором ошибок не обнаружено, занимает на порядок меньше времени, чем выполнение теста, при котором ошибки найдены...
да, согласен.
имхо, если команда маленькая 1-5 человек, то метрики вообще не нужны. Разьве что, только для мотивирования увеличения зп =)
Andaim...если команда маленькая 1-5 человек, то метрики вообще не нужны. Разьве что, только для мотивирования увеличения зп =)
В том числе и для мотивирования увеличения. Как можно оценить начальнику по формальным критериям кто работал плохо, кто нормально, а кто очень хорошо?
P. S.: Я считаю что по количеству проведенных тестов нельзя оценивать работу, потому что если тестировщик провел их НЕДОСТАТОЧНО, то это явным образом отразится на количестве найденных дефектов пользователями. Причем важен именно процент как отношение найденных пользователями к общему количеству дефектов, так как в одном проекте тестировщик нашел 5 (верхнего уровня критичности) дефектов, а пользователи, тоже 5 (того же уровня критичности) - значит тестировщик очень плохо работает, а если тестировщик нашел 100 дефектов, а пользователи 5, то это совершенно другой показатель, здесь, можно сказать что тестировщик работает нормально или хорошо.
