Соответствие и правильность

То, что источником всех метрик являются цели бизнеса, должно быть аксиомой. Для каждой цели компания должна иметь метрику, чтобы оценить свою эффективность в связи с данной целью. Отсюда - первая необходимая характеристика метрики, соответствие, которое показывает, поддерживает ли метрика цели бизнеса. Если нет, то она бесполезна и не должна использоваться. Проект разработки метрик для предприятия не будет иметь успеха, если будет идти по принципу "снизу вверх". Необходим подход "сверху вниз", решение, какие метрики необходимы для поддержки корпоративного бизнес-плана. Предприятие должно иметь набор хорошо определенных требований к метрикам, связанных с корпоративным бизнес-планом, начиная с уровня топ-менеджмента и ниже.

Есть и вторая необходимая характеристика - правильность и обоснованность самого процесса измерения метрики. Метрика может быть подходящей с точки зрения исходной задачи ее создания, но на деле оказаться неправильной. Она может просто неправильно измеряться и не показывать в реалиях того, чего от нее ждут. Это представляет такую же опасность для бизнеса, как неисправные измерительные приборы в самолете. Ошибочные индикаторы иногда оказываются фатальными для компании. Правильность проведения измерения - это отнюдь не банальный вопрос, особенно в случае с системами метрик. Поэтому специалистами был разработан специальный процесс подтверждения правильности метрик. Он состоит из пяти пунктов:

1. Соотнести метрику с теми целями, которых нужно достичь.Действительна ли связь? Имеет ли она смысл? Какие другие метрики соотносимы с данной целью?

2. Оценить каждый компонент составной метрики (функции, весовые значения, измерения) с точки зрения корректности и приемлемости.Если разложить составные метрики на компоненты, то будет видно, какие из них оказывают сильное влияние на данную метрику. Очень полезно проверить правильность компонентов во всех возможных сценариях. Если используются весовые значения, нужно проверить, нуждаются ли они со временем в корректировке. Если да, то когда в последний раз они корректировались, и какой процесс был использован, чтобы получить и подтвердить весовые значения? Документирован ли этот процесс?

3. Проверить качество и применимость всех входных данных для метрики. Так же, как анализ метрики, компонент за компонентом нужно оценить используемые входные данные. "Что посеешь - то и пожнешь" - эта пословица здесь актуальна как никогда. Несомненно, что это соображение должно также привести к анализу метрик, находящихся раньше по ходу процесса и генерирующих данные.

4. Проверить применимость результата метрики для других метрик. Применимость результата метрики, находящейся раньше по ходу процесса, влияет на текущую метрику. Значит, вы, доказав корректность метрики в этой точке процесса, должны будете проверить, приложима ли данная метрика к метрикам, находящимся дальше по ходу процесса.

5. Выполнить анализы на чувствительность метрики.Оказывают ли входные данные линейное или экспоненциальное влияние на значение метрики? Влияют ли данные на весовые значения, присвоенные компонентам метрики? Повторяемы ли результаты?

Сначала может показаться, что некоторые из этих шагов повторяются. До какой-то степени это действительно так. Здесь важно понять, что качество метрики не ограничено одним шагом, оно важно на протяжении всего процесса. Анализ отдельной метрики должен осуществляться в контексте цепочки метрик для этого процесса.