русс | укр

Языки программирования

ПаскальСиАссемблерJavaMatlabPhpHtmlJavaScriptCSSC#DelphiТурбо Пролог

Компьютерные сетиСистемное программное обеспечениеИнформационные технологииПрограммирование

Все о программировании


Linux Unix Алгоритмические языки Аналоговые и гибридные вычислительные устройства Архитектура микроконтроллеров Введение в разработку распределенных информационных систем Введение в численные методы Дискретная математика Информационное обслуживание пользователей Информация и моделирование в управлении производством Компьютерная графика Математическое и компьютерное моделирование Моделирование Нейрокомпьютеры Проектирование программ диагностики компьютерных систем и сетей Проектирование системных программ Системы счисления Теория статистики Теория оптимизации Уроки AutoCAD 3D Уроки базы данных Access Уроки Orcad Цифровые автоматы Шпаргалки по компьютеру Шпаргалки по программированию Экспертные системы Элементы теории информации

Оценка качества имитационной модели


Дата добавления: 2013-12-23; просмотров: 7331; Нарушение авторских прав


Часть 3. Обработка и анализ результатов моделирования.

Решения, принимаемые исследователем по результатам имитационного моделирования, могут быть конструктивными только при выполнении двух условий:

- полученные результаты обладают требуемой точностью и достоверностью;

- исследователь способен правильно интерпретировать полученные результаты и знать, каким образом они могут быть использованы.

Возможность выполнения первого условия закладывается, в-основном, еще на этапе разработки модели и частично – на этапе планирования эксперимента. Достоверность результатов моделирования предполагает, что модель, с помощью которой они получены, не только является правильной, но и отвечает некоторым дополнительным требованиям, предъявляемым к имитационным моделям.

Способность исследователя правильно интерпретировать полученные результаты и принимать на их основе правильные решения существенно зависит от соответствия формы представления результатов целям моделирования.

Если разработчик модели уверен, что полученные результаты будут использоваться в соответствии с одной, четко определенной целью, форма их представления может быть определена заранее. В этом случае преобразование экспериментальных данных к требуемому виду может производиться либо в ходе эксперимента, либо сразу после его завершения. Такой подход позволяет экономить память компьютера, необходимую для хранения большого количества необработанных данных, а также сократить время на анализ результатов и принятие решений.

Если же заранее конкретизировать цель моделирования сложно или целей несколько, данные должны накапливаться в базе данных и затем уже выдаваться в требуемой форме по запросу пользователя. Как правило, по такому принципу строятся системы автоматизации моделирования.

Оценка качества модели является завершающим этапом ее разработки и преследует две цели:



1) Проверить соответствие модели ее предназначению (целям исследования);

2) Оценить достоверность и статистические характеристики результатов, получаемых при проведении модельных экспериментов.

При аналитическом моделировании достоверность результатов определяется двумя основными факторами:

1) Корректным выбором математического аппарата, используемого для описания исследуемой системы;

2) Математической ошибкой, присущей данному математическому методу.

При имитационном моделировании на достоверность результатов влияет целый ряд дополнительных факторов, основными из которых являются:

1) Моделирование случайных факторов, основанное на использовании датчиков случайных чисел, которые могут вносить искажения в поведение модели;

2) Наличие нестационарного режима работы модели;

3) Использование нескольких разнотипных математических методов в рамках одной модели;

4) Зависимость результатов моделирования от плана эксперимента;

5) Необходимость синхронизации работы отдельных компонентов модели;

6) Наличие модели рабочей нагрузки, качество которой зависит, в свою очередь, от тех же факторов.

Пригодность имитационной модели для решения задач исследования характеризуется тем, в какой степени она обладает так называемыми целевыми свойствами. Основными из них являются:

- адекватность;

- устойчивость;

- чувствительность.

Оценка адекватности модели. В общем случае под адекватностью понимают степень соответствия модели тому реальному явлению или объекту, для описания которого она строится.

Вместе с тем, создаваемая модель ориентирована, как правило, на исследование определенного подмножества свойств этого объекта. Поэтому можно считать, что адекватность модели определяется степенью ее соответствия не столько реальному объекту, сколько целям исследования.

Один из наиболее распространенных способов формального обоснования адекватности разработанной модели – использование методов математической статистики. Суть этих методов заключается в проверке выдвинутой гипотезы (в данном случае – об адекватности модели) на основе некоторых статистических критериев. При проверке гипотез методами математической статистики необходимо иметь в виду, что статистические критерии не могут доказать ни одной гипотезы: они могут лишь указать на отсутствие опровержения.

Процедура оценки основана на сравнении измерений на реальной системе и результатов экспериментов на модели и может проводиться различными способами. Наиболее распространенные из них:

- по средним значениям модели и системы;

- по дисперсиям отклонений откликов модели от среднего значения откликов системы;

- по максимальному значению относительных откликов модели от откликов системы.

Названные способы близки между собой, поэтому ограничимся рассмотрением первого из них. При этом способе проверяется гипотеза о близости среднего значения наблюдаемой переменной Y среднему значению отклика реальной системы Y*.

В результате N0 опытов на реальной системе получают множество значений (выборку) Y*. Выполнив NM экспериментов на модели, также получают множество значений наблюдаемой переменной Y.

Затем вычисляются оценки математического ожидания и дисперсии откликов модели и системы, после чего выдвигается гипотеза о близости средних значений величин У* и У (в статистическом смысле). Основой для проверки гипотезы явля­ется t-статистика (распределение Стьюдента). Ее значение, вычисленное по резуль­татам испытаний, сравнивается с критическим значением tкр, взятым из справоч­ной таблицы. Если выполняется неравенство t < tкр, то гипотеза принимается.

Необходимо еще раз подчеркнуть, что статистические методы применимы толь­ко в том случае, если оценивается адекватность модели существующей системе. На проектируемой системе провести измерения, естественно, не представляется возмож­ным. Единственный способ преодолеть это препятствие заключается в том, чтобы принять в качестве эталонного объекта концептуальную модель проектируемой сис­темы. Тогда оценка адекватности программно реализованной модели заключается в проверке того, насколько корректно она отражает концептуальную модель. Данная проблема сходна с проверкой корректности любой компьютерной программы, и ее можно решать соответствующими методами, например с помощью тестирования.

Оценка устойчивости модели. При оценке адекватности модели как существу­ющей, так и проектируемой системе реально может быть использовано лишь огра­ниченное подмножество всех возможных значений входных параметров (рабочей нагрузки и внешней среды). В связи с этим для обоснования достоверности полу­чаемых результатов моделирования большое значение имеет проверка устойчиво­сти модели. В теории моделирования это понятие трактуется следующим образом.

Устойчивость модели — это ее способность сохранять адекватность при иссле­довании эффективности системы на всем возможном диапазоне рабочей нагрузки, а также при внесении изменений в конфигурацию системы.

Каким образом может быть оценена устойчивость модели? Универсальной процеду­ры проверки устойчивости модели не существует. Разработчик вынужден прибегать к методам «для данного случая», частичным тестам и здравому смыслу. Часто бывает по­лезна апостериорная проверка. Она состоит в сравнении результатов моделирования и результатов измерений на системе после внесения в нее изменений. Если результаты моделирования приемлемы, уверенность в устойчивости модели возрастает.

В общем случае можно утверждать, что чем ближе структура модели структуре системы и чем выше степень детализации, тем устойчивее модель.

Устойчивость результатов моделирования может быть также оценена методами математической статистики. Здесь уместно вспомнить основную задачу математи­ческой статистики. Она заключается в том, чтобы проверить гипотезу относительно свойств некоторого множества элементов, называемого генеральной совокуп­ностью, оценивая свойства какого-либо подмножества генеральной совокупности (т.е. выборки). В генеральной совокупности исследователя обычно интересует не­который признак, который обусловлен случайностью и может иметь качественный или количественный характер.

В данном случае именно устойчивость результатов моделирования можно рас­сматривать как признак, подлежащий оценке. Для проверки гипотезы об устойчи­вости результатов может быть использован критерий Уилкоксона.

Критерий Уилкоксона служит для проверки того, относятся ли две выборки к од­ной и той же генеральной совокупности (т. е. обладают ли они одним и тем же статис­тическим признаком). Например, в двух партиях некоторой продукции измеряется определенный признак, и требуется проверить гипотезу о том, что этот признак имеет в обеих партиях одинаковое распределение; другими словами, необходимо убедиться, что технологический процесс от партии к партии изменяется несущественно.

При статистической оценке устойчивости модели соответствующая гипотеза может быть сформулирована следующим образом: при изменении входной (рабо­чей) нагрузки или структуры ИМ закон распределения результатов моделирова­ния остается неизменным.

Проверку указанной гипотезы Н проводят при следующих исходных данных:

есть две выборки X = (x1 ..., xn) и Y = 1 ..., ут), полученные для различных значений рабочей нагрузки; относительно законов распределения X и У никаких предположений не делается.

Значения обеих выборок упорядочиваются вместе по возрастанию. Затем ана­лизируется взаимное расположение хi и уi. В случае уi < xi говорят, что пара значе­ний i, уi) образует инверсию.

Например, пусть для n = т = 3 после упорядочивания получилась такая последо­вательность значений: y1, x1, у3 , х2 , у2 , х3, тогда имеем инверсии: (х1, y1), 2, y1), 2 , y3), (x3,y1), ( x3, y2), ( x3, y3).

Подсчитывают полное число инверсий U. Если гипотеза верна, то U не должно сильно отклоняться от своего математического ожидания М: M =nm/2.

От гипотезы отказываются, если (определяют по таблице для заданного уровня значимости).

Оценка чувствительности ИМ. Очевидно, что устойчивость является положитель­ным свойством модели. Однако если изменение входных воздействий или параметров модели (в некотором заданном диапазоне) не отражается на значениях выходных пара­метров, то польза от такой модели невелика (ее можно назвать «бесчувственной»). В связи с этим возникает задача оценивания чувствительности модели к изменению пара­метров рабочей нагрузки и внутренних параметров самой системы.

Такую оценку проводят по каждому параметру Хк в отдельности. Основана она на том, что обычно диапазон возможных изменений параметра известен. Одна из наиболее простых и распространенных процедур оценивания состоит в следующем.

1) вычисляется величина относительного среднего приращения параметра Хк:

2) проводится пара модельных экспериментов при значениях Хк = Хктах и Хк = Хктin и средних фиксированных значениях остальных параметров. Определя­ются значения отклика модели и ;

3) вычисляется ее относительное приращение наблюдаемой переменной Y:

В результате для k-ro параметра модели имеют пару значений , харак­теризующую чувствительность модели по этому параметру.

Аналогично формируются пары для остальных параметров модели, которые образуют множество .

Данные, полученные при оценке чувствительности модели, могут быть ис­пользованы, в частности, при планировании экспериментов: большее внима­ние должно уделяться тем параметрам, по которым модель является более чув­ствительной.

Калибровка модели. Если в результате проведенной оценки качества модели оказалось, что ее целевые свойства не удовлетворяют разработчика, необходимо выполнить ее калибровку, т. е. коррекцию с целью приведения в соответствие предъявляемым требованиям.

Как правило, процесс калибровки носит итеративный характер и состоит из трех основных этапов:

1) глобальные изменения модели (например, введение новых процессов, изме­нение типов событий и т. д.);

2) локальные изменения (в частности, изменение некоторых законов распреде­ления моделируемых случайных величин);

3) изменение специальных параметров, называемых калибровочными.

На первый взгляд, структурные изменения модели, как более сложные, должны рассматриваться только после того, как все попытки откалибровать модель путем изменения параметров и локальных модификаций окажутся безуспешными. Од­нако такая стратегия может скрыть структурное несоответствие или недостаточ­ную степень детальности модели. В этом смысле начинать калибровку с внесения глобальных изменений значительно безопаснее.

Вообще целесообразно объединить оценку целевых свойств ИМ и ее калибров­ку в единый процесс. Именно такая стратегия принята в статистическом методе калибровки, описанном ниже.

 

Процедура калибровки состоит из трех шагов, каждый из которых является ите­ративным.

Шаг 1.Сравнение выходных распределений.

Цель — оценка адекватности ИМ. Критерии сравнения могут быть различны. В частности, может использоваться величина разности между средними значениями откликов модели и системы.

Устранение различий на этом шаге основано на внесении глобальных изменений.

Шаг 2. Балансировка модели.

Основная задача — оценка устойчивости и чувствительности модели. По его резуль­татам, как правило, производятся локальные изменения (но возможны и глобальные).

Шаг 3.Оптимизация модели.

Цель этого этапа — обеспечение требуемой точности результатов. Здесь возмож­ны три основных направления работ:

дополнительная проверка качества датчиков СЧ;

снижение влияния переходного режима;

применение специальных методов понижения дисперсии.



<== предыдущая лекция | следующая лекция ==>
Лекция №6. Классификационные признаки. Классификация видов моделирования систем | Часть 4. Математические схемы моделирования систем


Карта сайта Карта сайта укр


Уроки php mysql Программирование

Онлайн система счисления Калькулятор онлайн обычный Инженерный калькулятор онлайн Замена русских букв на английские для вебмастеров Замена русских букв на английские

Аппаратное и программное обеспечение Графика и компьютерная сфера Интегрированная геоинформационная система Интернет Компьютер Комплектующие компьютера Лекции Методы и средства измерений неэлектрических величин Обслуживание компьютерных и периферийных устройств Операционные системы Параллельное программирование Проектирование электронных средств Периферийные устройства Полезные ресурсы для программистов Программы для программистов Статьи для программистов Cтруктура и организация данных


 


Не нашли то, что искали? Google вам в помощь!

 
 

© life-prog.ru При использовании материалов прямая ссылка на сайт обязательна.

Генерация страницы за: 0.006 сек.