Под качеством ПС понимается набор свойств ПС, обеспечивающий полное удовлетворение всех требований пользователя к ПС.
Приведем определение основных понятий и терминов из стандартов ГОСТ 28806, ISO 9126, ISO/IEC 14598.
Атрибут – измеряемое свойство ПС, которое является отличительной его особенностью и проявляемое при его создании, испытании и изменении. Атрибуты могут быть внутренними (зависят только от работы программы) и внешними (зависят от работы пользователей и устройств).
Критерий оценки – совокупность принятых в установленном порядке правил и условий, с помощью которых устанавливается приемлемость в целом качества ПС.
Характеристика качества ПС – это характеристика качества ПС, посредством которого описывается и оценивается его качество.
Подхарактеристика качества ПС – это характеристика качества ПС, входящая в состав другой характеристики качества.
Метрика – определенные метод и шкала измерения характеристики (подхарактеристики) качества. Метрики качества ПС базируются на внутренних атрибутах ПС и внешнем поведении вычислительной системы (ВС), в состав которой входит ПС.
Мера – это число или категорий, присвоенные атрибуту объекта путем измерения.
Измерение – это использование метрики для присвоения атрибуту значения (числа или категории) из шкалы.
Показатель качества ПС – характеристика качества программного средства, обладающая количественным значением. Каждый показатель качества может использоваться, если определена его метрика, способы измерения и сопоставления с требующимся значением.
Шкала – набор значений с определенными свойствами.
При оценке качества используются следующие типы шкал:
1) номинальная – соответствует набору категорий;
2) упорядоченная – соответствует упорядоченному набору делений шкалы;
3) интервальная – соответствует упорядоченной шкале с равноудаленными делениями;
4) относительная – соответствует упорядоченной шкале с равно удаленными делениями, оцененными в относительных единицах (относительно некоторой абсолютной величины).
Метрики, использующие номинальную и упорядоченную шкалы, применяются для оценки качественных показателей, которые нельзя измерить количественно. Метрики, использующие две последние шкалы, применяются для оценки количественных показателей.
Уровень пригодности ПС (уровень качества функционирования ПС) – это степень удовлетворения потребности, представленная посредством конкретного набора значений характеристик качества программного средства
Качество ПС описывается совокупностью показателей-критериев, для каждого из которых должны быть определены метрики и методы их измерения. В соответствии с принципиальными особенностями ПС выбираются номенклатура и значения показателей качества, которые отражаются в техническом задании и в спецификации требований на конечный продукт.
В течение жизненного цикла (ЖЦ) ПС его качество изменяется. Для различных стадий ЖЦ стандартами ISO 9126 определены следующие представления о качестве ПС:
1. целевое качество (ЦК) – необходимое и достаточное качество, отражающее реальные потребности заказчика или пользователя; ЦК не может быть полностью определено в начале проектирования ПС, поскольку заказчик не всегда может его четко определить, однако разработчики должны стремиться к достижению ЦК;
2. требуемое качество продукта (ТКП) – значения характеристик, фактически установленные в спецификации требований к качеству. ТКП используется как цель для начального утверждения в спецификации; должны фиксироваться оптимальные и допустимые минимальные требования;
3. качество проекта (КП) – характеристики, представленные в основных компонентах проекта ПС (архитектуре, структуре программ, проектировании пользовательских интерфейсов). КП отражает концепцию и стратегию проекта;
4. оценочное (или прогнозируемое) качество продукта (ОКП) – оцененное или предсказанное качество для конечного ПС на каждой стадии ЖЦ. ОКП основано на качестве процессов и технологии его обеспечения. ОКП может оцениваться и предсказываться в процессе разработки для каждой характеристики качества, определенной в требованиях ПС;
5. качество поставленного продукта (КПП) – набор характеристик качества поставленного заказчику и готового к применению ПП, прошедшего испытания в моделированной среде с имитированными или реальными данными;
6. качество в использовании (КВИ) – качество системы, содержащей ПП, с точки зрения пользователя. КВИ измеряется в терминах результата использования программ, а не внутренних свойств ПС.
Качество ПС отражается тремя группами показателей, характеризующими:
• внутреннее качество, проявляющееся в процессе разработки;
• качество при использовании в процессе нормальной эксплуатации результативность достижения потребностей пользователей с учетом затрат.
Особым показателем качества ПС является стоимость (затраты на приобретение, создание, модификацию, эксплуатацию ПС). Данный показатель качества непосредственно влияет на все остальные показатели качества и определяет выбор пользователя в пользу покупки или разработки ПС. При этом потенциальный потребитель должен иметь механизм сравнения предлагаемых показателей качества и стоимости ПС для выбора поставщика или разработчика.
Комплексное решение задач обеспечения качества программных средств предполагает разработку и внедрение той или иной системы управления качеством. В мировой практике наибольшее распространение получила система, основанная на международных стандартах серии ISO 9000.
Основой регламентирования показателей качества программных средств ранее являлся международный стандарт ISO 9126:1991 (ГОСТ Р ИСО / МЭК 9126-93) "Информационная технология. Оценка программного продукта. Характеристики качества и руководство по их применению" и новый стандарт ISO 9126-1—4, состоящий из следующих частей.
Первая часть стандарта - распределяет атрибуты качества программных средств по шести характеристикам, используемым в остальных частях стандарта. Исходя из принципиальных возможностей их измерения, все характеристики могут быть объединены в три группы, к которым применимы разные категории метрик:
- категорийным, или описательным метрикам наиболее адекватны функциональные возможности программных средств;
- количественные метрики применимы для измерения надежности и эффективности сложных комплексов программ;
- качественные метрики в наибольшей степени соответствуют практичности, сопровождаемости и мобильности программных средств.
Вторая и третья части стандарта - посвящены формализации соответственно внешних и внутренних метрик характеристик качества сложных программных средств. Все таблицы содержат унифицированную рубрикацию, где отражены имя и назначение метрики; метод ее применения; способ измерения, тип шкалы метрики; тип измеряемой величины; исходные данные для измерения и сравнения; а также этапы жизненного цикла программного средства (по ISO 12207), к которым применима метрика.
Четвертая часть стандарта - обосновываются и комментируются выделенные показатели сферы использования программных средств и группы выбранных метрик для пользователей.
Исходными данными при выборе показателей качества в большинстве случаев являются назначение, функции и функциональная пригодность соответствующего ПС. Процессы выбора и установления метрик и шкал для описания характеристик качества программных средств можно разделить на два этапа:
1) Выбор исходных данных, отражающих общие особенности и этапы жизненного цикла ПС. За основу следует брать всю базовую номенклатуру характеристик и атрибутов, стандартизированных в ISO 9126. Их описания желательно предварительно упорядочить по приоритетам потребителей, которым необходимы определенные показатели качества проекта ПС, определяющих функциональную пригодность ПС.
2) выбор конкретных метрик и шкал измерения характеристик и атрибутов качества проекта для их последующей оценки и сопоставления с требованиями спецификаций в процессе квалификационных испытаний или сертификации на определенных этапах ЖЦ ПС. Процессы выбора номенклатуры и метрик начинаются с ранжирования характеристик и для конкретного проекта и их потребителя. Далее, для каждого из отобранных показателей должна быть установлена и согласована метрика и шкала оценок характеристик и их атрибутов. Для показателей, представляемых качественными признаками, желательно определить и зафиксировать в спецификациях описания условий, при которых следует считать, что данная характеристика реализуется в программном средстве.
Методологии и стандартизации оценки характеристик качества готовых ПС на различных этапах ЖС отражены в международном стандарте ISO 14598. Рекомендуется следующая общая схема процессов оценки характеристик качества программ:
- установка исходных требований для оценки - определение целей испытаний, идентификация типа метрик программного средства, выделение адекватных показателей и требуемых значений атрибутов качества;
- выбор метрик качества, установление рейтингов и уровней приоритета метрик характеристик и атрибутов, выделение критериев для проведения экспертиз и измерений;
- планирование и проектирование процессов оценки характеристик и атрибутов качества в жизненном цикле программного средства;
- выполнение измерений для оценки, сравнение результатов с критериями и требованиями, обобщение и оценка результатов.
Для каждой характеристики качества рекомендуется формировать меры и шкалу измерений с выделением требуемых, допустимых и неудовлетворительных значений.
