Проверка модели

Проверка модели представляет собой процесс, в ходе которого достигается приемлемый уровень уверенности пользователя в том, что любой вывод о поведении системы, сделанный на основе моделирования, будет правильным. Невозможно доказать, что та или иная модель является правильным или «правдивым» отображением реальной системы. Но пользователя волнует обычно не справедливость самой структуры модели, а ее функциональная полезность.

Проверка модели — чрезвычайно важный этап, поскольку модели вызывают впечатление реальности, и как разработчики моделей, так и их пользователи легко проникаются к ним доверием. К сожалению, для случайного наблюдателя, а иногда и для специалиста, искушенного в вопросах моделирования, бывают скрыты исходные предположения, на основе которых строилась данная модель. Поэтому проверка, выполненная без должной тщательности, может привести к непредсказуемым последствиям.

Такого процесса, как «испытание» правильности модели, не существует. Вместо этого экспериментатор в ходе разработки должен провести серию проверок, с тем чтобы укрепить свое доверие к модели. Для этого могут быть использованы проверки трех видов:

1. Применяя первую из них, исследователь должен убедиться, что модель верна "в первом приближении". Например, следует поставить такой вопрос: не будет ли модель давать абсурдные ответы, если ее параметры будут принимать предельные значения? Необходимо также убедиться в том, что результаты, которые пользователь получает с помощью модели, имеют смысл. Это может быть выполнено для моделей существующих систем методом, предложенным Тьюрингом. Он состоит в том, что людей, непосредственно связанных с работой реальной системы, просят сравнить результаты, полученные моделирующим устройством, с данными, получаемыми на выходе реальной системы. Чтобы такая проверка была более строгой в научном отношении, можно предложить экспертам указать на различия между несколькими выборками модельных данных и аналогичными выборками, полученными в реальной системе.

2. Второй метод оценки адекватности модели состоит в проверке исходных предположений.

3. Третий — в проверке преобразований информации от входа к выходу.

Способы оценки компьютерной модели делятся на три категории:

1) верификацию, используя которую экспериментатор хочет убедиться, что модель ведет себя так, как было задумано;

2) оценку адекватности — проверку соответствия между поведением модели и поведением реальной системы;

3) проблемный анализ — формулирование статистически значимых выводов на основе данных, полученных путем машинного моделирования.

Для осуществления этой оценки часто бывает необходимо предпринять целый ряд действий вплоть до проведения полевых испытаний. Но сами эти испытания могут быть связаны с трудностями, присущими эмпирическому исследованию. К числу таких трудностей относятся следующие ситуации:

· высокая стоимость получения данных, которая вынуждает пользоваться небольшими выборками;

· распределенность данных по множеству различных групп;

· использование данных, достоверность которых сомнительна.

Таким образом, вопрос оценки адекватности модели имеет две стороны:

Ø приобретение уверенности в том, что модель ведет себя таким же образом, как и реальная система;

Ø установление того, что выводы, полученные из экспериментов с моделью, справедливы и корректны.

Оба эти момента в совокупности сводятся к задаче нахождения равновесия между стоимостью каждого действия, связанного с оценкой адекватности модели, ценностью информации и последствиями ошибочных заключений.