Прежде чем планировать и проводить тестирование на удобство применения продукта, следует четко определить цели и задачи, стоящие перед ним. Эта задача лежит на владельцах продукта, специалистах, составляющих планы, проектировщиках и разработчиках.
Бут выявил четыре фактора, составляющих удобство применения: полезность, эффективность, простота изучения и отношение пользователей. Все операционные определения удобства должны затрагивать один или более этих факторов.
Факторы, определяющие удобство применения.
Полезность – степень, до которой продукт позволяет пользователю достичь стоящей перед ним цели (Могут ли пользователи использовать продукт?). Оценка мотивации пользователя в использовании данного продукта. Оценка полезности, как правило, осуществляется с помощью оценки качества выполненной работы.
Эффективность – насколько успешно продукту удается содействовать пользователю в выполнении стоящей перед ним задачи (насколько хорошо пользователь может выполнить стоящую перед ним задачу с помощью данного продукта?). Оценка эффективности, как правило, осуществляется с помощью оценки качества выполненной работы.
Простота изучения. Пользователи могут начать использовать продукт, приобретя определенный уровень знаний после прохождения тренинга (Насколько хорошо обучены пользователи?). Оценка простоты изучения, как правило, осуществляется с помощью оценки качества выполненной работы.
Отношение пользователей – восприятие, ощущения и мнения пользователей по поводу изучения и использования данного продукта (Что пользователи думают об удобстве применения продукта?). Оценка, как правило, осуществляется по отзывам пользователей (устной или письменной обратной связи).
Цели и задачи, стоящие перед разработкой удобства применения, должны определяться для всех программных продуктов. Цели – это обеспечение преимуществ продукта перед конкурирующими в области простоты изучения, эффективности, гибкости и т.д., т.е. напрямую связаны с перечисленными факторами.
Цели сами по себе не подлежат непосредственной оценке – они должны делиться на задачи. Задачи – уточнение целей, они более конкретны и детальны, их можно оценить и измерить. Достижение одной цели может потребовать решения множества задач. Задачи должны быть выстроены таким образом, чтобы содержать информацию по конкретным действиям или операциям.
Пример характеристики задач.
Задача удобства применения
Критерий
Качество работы
Условия
После 4-часового тренинга 90% пользователей в состоянии выполнить заказ клиента в течение 5 мин.
90% пользователей; в течение 5 мин.
Выполнить заказ клиента
После 4-часового тренинга
Полезность:
После выполнения пяти сценариев задач 90% пользователей будут в состоянии успешно выполнить задачу
90% пользователей; выполнить задачу
Успешно выполнить задачу
После выполнения пяти сценариев задач
Эффективность:
После выполнения пяти сценариев задач 75% пользователей будут в состоянии успешно выполнить задачу в течение 10 мин.
75% пользователей; в течение 10 мин.
Успешно выполнить задачу
После выполнения пяти сценариев задач
Простота изучения:
После 4-часового тренинга все пользователи достигнут определенного уровня владения продуктом
Все пользователи; определенный уровень владения продуктом
Успешно овладеть продуктом
После 4-часового тренинга
Отношение пользователей:
После выполнения пяти сценариев задач 85% пользователей оценят степень своей удовлетворенности продуктом на 5,5 и выше баллов (по 7-балльной системе)
85% пользователей; степень удовлетворенности 5,5 баллов по 7-балльной системе
Степень удовлетворенности
После выполнения пяти сценариев задач
Надежность и достоверность результатов тестирования.
Надежность теста состоит в том, что один и тот же тест может проводиться снова и снова и будет демонстрировать одинаковые результаты. Это в корне отличается от достоверности теста. Тест считается достоверным, если точно измерено то, что должно быть измерено. Сравнительное тестирование на удобство применения продуктов может быть мало надежным. Несложно разработать сценарии и задачи, которые выставляют в благоприятном свете технологию или функции одного продукта по сравнению с аналогичными характеристиками другого. Различные типы измерений, используемых при тестировании, могут радикально изменить результаты.
Можно сформулировать следующие рекомендации по тестирования:
- сравнительные тесты могут представить полезную информацию при исследовании удобства применения новых версий программных продуктов;
- используйте задачи общего характера и области известных проблем в качестве базовых задач, чтобы произвести точные сравнительные измерения между версиями продуктов;
- применяйте стандартные измерения удобства применения, например, качество выполнения работ пользователем (выполняемость задач и показатель успешности их выполнения), степень удовлетворенности пользователей (данные по степени удовлетворенности и предпочтений);
- используйте внешних, независимых производителей для планирования и проведения тестирования на удобство применения, чтобы уменьшить субъективность восприятия.
Тесты на удобство применения должны разрабатываться, а их результаты анализироваться для того, чтобы совершенствовать интерфейсы продуктов и повышать производительность пользователей, а не для сравнения и сопоставления с другими продуктами и интерфейсами.
Отчетная карточка теста.
В отчетной карточке перечислены все основные темы, которые должны рассматриваться в любом тесте на удобство применения. Используйте данную карточку при разработке собственного теста, а также для правильной оценки исследований на удобство применения, с которыми знакомитесь в рекламе, отчетах и журналах. Делайте собственные выводы о том, насколько достоверными являются результаты, и не полагайтесь на отчеты или рекламу.
Темы теста на удобство применения
Возможные вопросы
Спонсор теста/ Исполнитель теста
Кто спонсирует тест на удобство применения?
Кто действительно проводит тест?
Цели и задачи теста
Описываются ли задачи теста?
Описываются ли цели теста?
Было ли дано операционное определение задачам (можно ли их измерить)?
Проект теста и сами процедуры
Пригоден ли проект теста, учитывая заданные цели и задачи?
Следует ли тест действующей методологии разработки экспериментов?
Каковы процедуры теста (введение, тренинг, задачи, анкеты, опросы и т.д.)?
Программная и аппаратная платформа
Действительно ли тестируются требуемые продукты?
Действительно ли используется соответствующая аппаратная платформа?
Действительно ли компьютеры сконфигурированы аналогичным образом (скорость процессора, память, хранение и т.д.)?
Участники теста
Кто участвует в тесте?
Каковы их демографические данные (возраст, пол и т.д.)?
Каков уровень их навыков в работе с компьютером?
Какие приложения и операционные системы они использовали?
Где и каким образом были выбраны участники теста?
Какие методы и критерии использовались для подразделения участников по категориям (начинающие, опытные и т.д.)?
Как участники теста были разделены по группам?
Оплачивали ли участникам теста их участие?
Задачи теста
Каковы задачи теста?
Являются ли сценарии задач неясными или наоборот, подсказывающими пользователям их действия?
Используются ли в тесте актуальные данные или данные тестов?
Соответствуют ли задачи целям теста?
Выполняются ли задачи всеми участниками теста?
Выполняются ли задачи на всех компьютерах?
Не сориентированы ли задачи под определенный продукт?
Поддержка и помощь в тестировании
Прошли ли участники теста предварительный тренинг? Какой?
Оказывают ли участникам помощь во время теста? Кто ее оказывает?
Можно ли располагать технической поддержкой (аппаратной и программной) во время теста?
Оценки, проводимые во время теста
Что оценивается во время теста (качество работы, предпочтения, наблюдения)?
Соответствуют ли оценки, полученные во время тестирования, целям и задачам теста?
Каким образом собираются оценки (самооценки, хронометраж, видеозаписи и т.д.)?
Критерии теста
Каковы критерии каждой оценки?
Что определяет успешность выполнения задач?
Что определяет помощь?
Что определяет ошибку пользователя?
Анализы теста, результаты и выводы
Доступны ли оригинальные данные теста?
Определен и описан ли анализ теста?
Пригоден и достоверен ли статистический анализ по результатам теста?
Существенны ли статистически результаты теста?
Основаны ли выводы по тесту на его результатах?
Можно ли сделать общие выводы из проекта теста и его результатов?
Соответствуют ли выводы теста целям и задачам теста?
Надежность против достоверности
Надежен ли тест на удобство применения (можно ли повторить результаты)?
Достоверен ли тест на удобство применения (действительно ли тест и результаты дают оценку тому, что должно быть оценено)?
Какова реакция со стороны на проект теста и его результаты (в отношении надежности и достоверности)?
Этическая сторона проведения теста
Сообщили ли участникам теста о задачах, оценках и самой процедуре проведения теста (формы согласия, видеозаписи, наблюдатели и т.д.)?
Разрешено ли пользователям по желанию прекратить участие в тесте?
Подталкивают ли пользователей к использованию определенных функций или выполнению определенных задач?
Советуют ли пользователям не торопиться или выполнять задачи как можно быстрее?
Чем больше пользователей зависят от неудобного в применении проекта, тем сложнее его изменить. Помните о феномене WYKIWYL – что вам знакомо, то вам и нравится. Пользователи могут адаптироваться к плохо «скроенным» проектам, хотя они не должны этого делать.
