Гость
Map
Форумы / Тестирование и QA [игнор отключен] [закрыт для гостей] / Качество продукта / 5 сообщений из 5, страница 1 из 1
09.08.2021, 06:58
    #40089605
Malina31
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Качество продукта
Какими вы пользуетесь критериями/показателями/метриками, чтобы ответить себе на вопрос: удовлетворительно ли работает протестированное ПО?
Кроме "я протестил +/- сценарии и все ок". Есть ли какие-то конкретные пункты, которые помогают ответить на этот вопрос? Например, набор автотестов на фичу или еще что-то?
Поделитесь плиз
...
Рейтинг: 0 / 0
13.11.2021, 12:57
    #40111670
artel.dev
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Качество продукта
Как-то на проекте задались вопросом какой процент кода у нас покрыт юнит-тестами.

Написали парсер, который выводит в таблицу название всех функций в нашем проекте и длинну её кода.

Запустили юнит-тесты с настройкой, чтобы они логировали все вызываемые функции, и под-функции, и под-под-функции и сохраняли имена функций в лог.

Распарсили лог юнит-тестов и вытащили оттуда список всех функций, вызываемых в юнит-тестах.

Сильно удивились что доля тестируемого кода сильно меншье 100%.
...
Рейтинг: 0 / 0
25.11.2021, 16:16
    #40114925
Leonid Kudryavtsev
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Качество продукта
artel.dev

Сильно удивились что доля тестируемого кода сильно меншье 100%.


Я бы как раз бы удивлялся, если бы доля тестируемого кода была бы 100%. Т.к. скорее всего это был бы явный показатель "вранья" и "очковтерательства"

artel.dev

Например, набор автотестов на фичу или еще что-то?

Мне кажется это более адекватный критерий, чем абстрактое "покрытие кода"

Наверное как-раз имеет смысл, что бы тестами были покрыты:
1. фичи, в том числе старые
2. ранее обнаруженные и исправленные баги

Насколько это реально, даже не представляю. Т.к., по собственному опыту, с п.2. даже у Oracle Co. огромнейшие проблемы. Найти версию, где баг пофикшен не на словах, а на деле - жуткий п...ц ((( в версии 11.1 баг сделан, в версии 11.3 пофигшен, в версии 11.4 и далее - опять живее всех живых (((

Вроде по ISO 9000 такого быть не должно в принципе. AFAIK (с чужих слов, сам ISO 9000 не читал).

artel.dev

Какими вы пользуетесь

к сожалению сам не пользуюсь )))
...
Рейтинг: 0 / 0
01.12.2021, 17:17
    #40116487
fkthat
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Качество продукта
Leonid Kudryavtsev
Я бы как раз бы удивлялся, если бы доля тестируемого кода была бы 100%. Т.к. скорее всего это был бы явный показатель "вранья" и "очковтерательства"

У нас для юнит-тестов 100%. Другое дело, что юнит-тесты вообще никак не связаны с тем насколько результат удовлетворяет функциональны и тем более нефункциональным требованиям.
...
Рейтинг: 0 / 0
05.12.2021, 11:36
    #40117431
artel.dev
Гость
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Качество продукта
fkthat
Другое дело, что юнит-тесты вообще никак не связаны с тем насколько результат удовлетворяет функциональны и тем более нефункциональным требованиям.

100% покрытие юнит-тестами - необходимое, но не достаточное условие.
...
Рейтинг: 0 / 0
Форумы / Тестирование и QA [игнор отключен] [закрыт для гостей] / Качество продукта / 5 сообщений из 5, страница 1 из 1
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]