Перейти к основному содержимому

Сертификация и приёмка заказных программных продуктов

Руководителю Аналитику Тестировщику

Три разных слова — три разных процесса

На приёмке часто смешивают понятия. Разделение экономит месяцы споров:

ТерминЧто этоКто обычно делаетРезультат
ИспытанияПроверка по ПМИ / тест-плану: «соответствует ТЗ?»QA, заказчик, комиссияПротоколы pass/fail
Удостоверение качестваДоказательная база, что качество обеспечено процессами и метрикамиQA, ИБ, аудиторПакет отчётов, матрицы
СертификацияНезависимая оценка по регламенту аккредитованного органаЛаборатория, ведомствоСертификат / заключение

Для внутреннего продукта часто хватает испытаний + акта. Для ГИС, ОПК, медицины, ФСТЭК — добавляют формальную сертификацию процесса и/или продукта.

Базовый документ

Пошаговый разбор ПМИ — ПМИ по ГОСТ 19.301-79. Эта статья дополняет его блоком про сертификацию (гл. 2.8).

Мини-глоссарий

ТерминПростыми словами
ПМИПрограмма и методика испытаний — что, как и чем проверяем
UATUser Acceptance Testing — приёмочные испытания с участием заказчика
BaselineВерсия ПО и документов, которую сдают (см. SCM)
Мотивированный отказОфициальный документ: почему не подписываем акт
Класс дефектаСерьёзность: blocker / critical / major / minor — влияет на приёмку

Организация испытаний — от модуля до комиссии

Виды (типичная последовательность)

ЭтапКтоЦельКогда
МодульныеРазработкаКод модуля веренВо время разработки
ИнтеграционныеРазработка, QAМодули вместе работаютПеред системными
СистемныеQAСистема в целом на стендеПеред UAT
Приёмочные (UAT)ЗаказчикБизнес-сценарии «как в жизни»Перед актом
Государственные / квалификационныеКомиссияСоответствие контракту и нормативамПо регламенту контракта

ПМИ фиксирует для каждого сценария: предусловия, шаги, ожидаемый результат, инструмент (ручной / автотест), критерий успеха.

Пример строки в ПМИ (упрощённо)

IDСценарийДанныеОжиданиеМетод
TC-012Создание заказа авторизованным пользователемЛогин user1HTTP 201, сумма = Σ строкAPI-тест + ручная проверка в UI

Без такой детализации «протестировали» на приёмке не защитить.


Завершение испытаний — пакет для приёмки

Перед подписанием акта собирают пакет:

  1. Протоколы по каждому обязательному сценарию ПМИ.
  2. Перечень открытых дефектов с классом и планом устранения.
  3. Матрица трассировки ТЗ → требование → тест → результат.
  4. Baseline: версия ПО (tag), образ/digest, комплект документации с тем же номером версии.
  5. Акт о приёмке или мотивированный отказ с перечнем замечаний.

:::info Критерий «сдали» (типичный для госконтрактов) Нет дефектов класса 1 (блокирующих). Дефекты класса 2 — с письменным планом и сроками. Все обязательные сценарии ПМИ — pass. Точные классы — в контракте и ТЗ. :::

Демо на ноутбуке руководителю — полезно для коммуникации, но заменяет протоколы ПМИ только если контракт это прямо допускает (редко).


Удостоверение качества — «почему нам можно верить»

Quality assurance в смысле гл. 2.8 — совокупность доказательств, а не только зелёные галочки в TestRail:

  • процессы по ISO/IEC 12207 (как организованы разработка и тесты);
  • метрики по ISO 25010 (NFR с цифрами);
  • результаты SCM-аудита (версии совпадают);
  • статический анализ, coverage, нагрузка, отчёты ИБ.

Заказчик или внешний аудитор смотрит: можно ли доверять выводу «качество обеспечено», а не только факту «100 тестов прошли вчера».

АртефактЧто доказывает
Отчёт нагрузкиPerformance по 25010
Протокол пентестаSecurity
Журнал code reviewКонтроль изменений
CMMI / ISO 9001 (если есть)Зрелость процессов организации

Сертификация технологических процессов

Сертификация процессов — подтверждение, что организация стабильно производит ПО по требованиям стандарта: оценивают производственный процесс («фабрику»), а не отдельную версию продукта.

Модель / стандартЧто оценивают
ISO 9001Система менеджмента качества (широко, не только IT)
CMMI appraisalЗрелость процессов разработки (SDLC)
ISO/IEC 15504 (SPICE)Компетентность отдельных процессов
ОтраслевыеDO-178C (авиация), IEC 62304 (медизделия), ГОСТ Р 56939 (ИБ)

Для подрядчика сертификат процессов — аргумент в тендере: «мы умеем повторять результат».


Сертификация готового продукта

Сертификация продукта — конкретная версия ПО проходит оценку в аккредитованной лаборатории или ведомстве.

Примеры контекста в РФ:

  • ФСТЭК / ФСБ — требования по защите информации;
  • реестр отечественного ПО / ГИС — импортозамещение, отраслевые регламенты;
  • медрегулятор — Software as Medical Device.

Требуют: комплект документации, стенд, иногда исходники, повторяемую сборку (SCM). Сроки и стоимость — отдельная строка сметы, часто месяцы.


Акт приёмки и юридический контур

В госконтракте (44-ФЗ, 223-ФЗ) приёмка — этап контракта:

  1. Исполнитель направляет уведомление о готовности и пакет документов.
  2. Заказчик (комиссия) проводит экспертизу в срок, указанный в контракте (пропуск срока иногда трактуется в пользу исполнителя — смотрите договор).
  3. Подписывается акт или мотивированный отказ.
  4. Без акта — нет оплаты этапа и часто нет перехода прав на результаты.

Agile внутри команды сосуществует с актом на milestone «релиз 1.0» в гибридной модели: спринты — внутри, формальная приёмка — на границе контракта (гос. методологии).


Связь с экономикой проекта

ФакторВлияние
Стоимость сертификацииОтдельная строка: лаборатория + подготовка документов + простой команды
Повторные испытанияПосле провала — двойные затраты; в COCOMO бьют PCON (нестабильные требования), DOCU
Досрочная приёмка без полного ПМИЭкономия сейчас, штраф на сопровождении и репутации
Полный ПМИ с NFRДороже до акта, дешевле споры после

Типичные ошибки

  1. ПМИ пишут после разработки — сценарии подогнаны под код, а не под ТЗ.
  2. Нет baseline — нельзя идентифицировать, что сдавали.
  3. Путают демо и приёмочные испытания — нет протоколов = нет юридической силы.
  4. Игнорируют NFR на приёмке — проверяют только UI happy path.
  5. Не закладывают время на устранение замечаний комиссии — срыв срока оплаты.

Куда читать дальше

ТемаМатериал
ПМИ, пошагово14
Модель качества25010
Приёмочное тестирование111
Гос. контракты7-03/2
SCM и версииУправление конфигурацией

См. также

Другие статьи этого же раздела в боковом меню (как на странице «О разделе»).