Сертификация и приёмка заказных программных продуктов
Три разных слова — три разных процесса
На приёмке часто смешивают понятия. Разделение экономит месяцы споров:
| Термин | Что это | Кто обычно делает | Результат |
|---|---|---|---|
| Испытания | Проверка по ПМИ / тест-плану: «соответствует ТЗ?» | QA, заказчик, комиссия | Протоколы pass/fail |
| Удостоверение качества | Доказательная база, что качество обеспечено процессами и метриками | QA, ИБ, аудитор | Пакет отчётов, матрицы |
| Сертификация | Независимая оценка по регламенту аккредитованного органа | Лаборатория, ведомство | Сертификат / заключение |
Для внутреннего продукта часто хватает испытаний + акта. Для ГИС, ОПК, медицины, ФСТЭК — добавляют формальную сертификацию процесса и/или продукта.
Пошаговый разбор ПМИ — ПМИ по ГОСТ 19.301-79. Эта статья дополняет его блоком про сертификацию (гл. 2.8).
Мини-глоссарий
| Термин | Простыми словами |
|---|---|
| ПМИ | Программа и методика испытаний — что, как и чем проверяем |
| UAT | User Acceptance Testing — приёмочные испытания с участием заказчика |
| Baseline | Версия ПО и документов, которую сдают (см. SCM) |
| Мотивированный отказ | Официальный документ: почему не подписываем акт |
| Класс дефекта | Серьёзность: blocker / critical / major / minor — влияет на приёмку |
Организация испытаний — от модуля до комиссии
Виды (типичная последовательность)
| Этап | Кто | Цель | Когда |
|---|---|---|---|
| Модульные | Разработка | Код модуля верен | Во время разработки |
| Интеграционные | Разработка, QA | Модули вместе работают | Перед системными |
| Системные | QA | Система в целом на стенде | Перед UAT |
| Приёмочные (UAT) | Заказчик | Бизнес-сценарии «как в жизни» | Перед актом |
| Государственные / квалификационные | Комиссия | Соответствие контракту и нормативам | По регламенту контракта |
ПМИ фиксирует для каждого сценария: предусловия, шаги, ожидаемый результат, инструмент (ручной / автотест), критерий успеха.
Пример строки в ПМИ (упрощённо)
| ID | Сценарий | Данные | Ожидание | Метод |
|---|---|---|---|---|
| TC-012 | Создание заказа авторизованным пользователем | Логин user1 | HTTP 201, сумма = Σ строк | API-тест + ручная проверка в UI |
Без такой детализации «протестировали» на приёмке не защитить.
Завершение испытаний — пакет для приёмки
Перед подписанием акта собирают пакет:
- Протоколы по каждому обязательному сценарию ПМИ.
- Перечень открытых дефектов с классом и планом устранения.
- Матрица трассировки ТЗ → требование → тест → результат.
- Baseline: версия ПО (tag), образ/digest, комплект документации с тем же номером версии.
- Акт о приёмке или мотивированный отказ с перечнем замечаний.
:::info Критерий «сдали» (типичный для госконтрактов) Нет дефектов класса 1 (блокирующих). Дефекты класса 2 — с письменным планом и сроками. Все обязательные сценарии ПМИ — pass. Точные классы — в контракте и ТЗ. :::
Демо на ноутбуке руководителю — полезно для коммуникации, но заменяет протоколы ПМИ только если контракт это прямо допускает (редко).
Удостоверение качества — «почему нам можно верить»
Quality assurance в смысле гл. 2.8 — совокупность доказательств, а не только зелёные галочки в TestRail:
- процессы по ISO/IEC 12207 (как организованы разработка и тесты);
- метрики по ISO 25010 (NFR с цифрами);
- результаты SCM-аудита (версии совпадают);
- статический анализ, coverage, нагрузка, отчёты ИБ.
Заказчик или внешний аудитор смотрит: можно ли доверять выводу «качество обеспечено», а не только факту «100 тестов прошли вчера».
| Артефакт | Что доказывает |
|---|---|
| Отчёт нагрузки | Performance по 25010 |
| Протокол пентеста | Security |
| Журнал code review | Контроль изменений |
| CMMI / ISO 9001 (если есть) | Зрелость процессов организации |
Сертификация технологических процессов
Сертификация процессов — подтверждение, что организация стабильно производит ПО по требованиям стандарта: оценивают производственный процесс («фабрику»), а не отдельную версию продукта.
| Модель / стандарт | Что оценивают |
|---|---|
| ISO 9001 | Система менеджмента качества (широко, не только IT) |
| CMMI appraisal | Зрелость процессов разработки (SDLC) |
| ISO/IEC 15504 (SPICE) | Компетентность отдельных процессов |
| Отраслевые | DO-178C (авиация), IEC 62304 (медизделия), ГОСТ Р 56939 (ИБ) |
Для подрядчика сертификат процессов — аргумент в тендере: «мы умеем повторять результат».
Сертификация готового продукта
Сертификация продукта — конкретная версия ПО проходит оценку в аккредитованной лаборатории или ведомстве.
Примеры контекста в РФ:
- ФСТЭК / ФСБ — требования по защите информации;
- реестр отечественного ПО / ГИС — импортозамещение, отраслевые регламенты;
- медрегулятор — Software as Medical Device.
Требуют: комплект документации, стенд, иногда исходники, повторяемую сборку (SCM). Сроки и стоимость — отдельная строка сметы, часто месяцы.
Акт приёмки и юридический контур
В госконтракте (44-ФЗ, 223-ФЗ) приёмка — этап контракта:
- Исполнитель направляет уведомление о готовности и пакет документов.
- Заказчик (комиссия) проводит экспертизу в срок, указанный в контракте (пропуск срока иногда трактуется в пользу исполнителя — смотрите договор).
- Подписывается акт или мотивированный отказ.
- Без акта — нет оплаты этапа и часто нет перехода прав на результаты.
Agile внутри команды сосуществует с актом на milestone «релиз 1.0» в гибридной модели: спринты — внутри, формальная приёмка — на границе контракта (гос. методологии).
Связь с экономикой проекта
| Фактор | Влияние |
|---|---|
| Стоимость сертификации | Отдельная строка: лаборатория + подготовка документов + простой команды |
| Повторные испытания | После провала — двойные затраты; в COCOMO бьют PCON (нестабильные требования), DOCU |
| Досрочная приёмка без полного ПМИ | Экономия сейчас, штраф на сопровождении и репутации |
| Полный ПМИ с NFR | Дороже до акта, дешевле споры после |
Типичные ошибки
- ПМИ пишут после разработки — сценарии подогнаны под код, а не под ТЗ.
- Нет baseline — нельзя идентифицировать, что сдавали.
- Путают демо и приёмочные испытания — нет протоколов = нет юридической силы.
- Игнорируют NFR на приёмке — проверяют только UI happy path.
- Не закладывают время на устранение замечаний комиссии — срыв срока оплаты.
Куда читать дальше
| Тема | Материал |
|---|---|
| ПМИ, пошагово | 14 |
| Модель качества | 25010 |
| Приёмочное тестирование | 111 |
| Гос. контракты | 7-03/2 |
| SCM и версии | Управление конфигурацией |
См. также
Другие статьи этого же раздела в боковом меню (как на странице «О разделе»). На совещании вы слышите: «эта фича — 8 story points». Это работает внутри команды, когда все знают прошлые спринты. Восемь характеристик качества ПО простым языком: что писать в ТЗ, как проверять на приёмке и почему «без багов» — мало. SCM простым языком: конфигурационные единицы, baseline, контроль изменений и связь с Git, CI/CD и ГОСТ-документацией. Что происходит с заказным ПО после акта приёмки: виды сопровождения, SLA, экономика и типичные ошибки — простым языком. Что такое системы реального времени, чем hard RT отличается от веба, как формулировать требования и тестировать на стенде — для новичка. Какие компетенции нужны PM, архитектору, аналитику, разработчику и QA на заказном проекте — и как это влияет на оценку COCOMO.Модель COCOMO II — прогноз трудоёмкости и стоимости
Модель качества ISO/IEC 25010
Управление конфигурацией программных комплексов
Сопровождение программных комплексов
Заказные системы реального времени
Квалификация команды для заказной разработки