Эксперимент на имитационной модели проводится для получения информации о системе и преследует две основные цели: более полно и глубоко представить поведение системы в реальных условиях; оценить различные стратегии для оптимизации режимов функционирования системы при заданных ограничениях. В том и другом случае целью эксперимента является нахождение поверхности реакции системы на входные сигналы и возмущения, ее исследование, описание и оптимизация параметров системы в некоторой области факторного пространства.
Планирование эксперимента состоит в выборе его логической структуры и организации действий исследователя, позволяющих решать поставленную задачу при заданных ограничениях по времени и стоимости.
Учитывая сложность имитационных моделей реальных систем и большое количество вариантов, подлежащих оценке в процессе эксперимента, удовлетворение поставленных ограничений является задачей трудной как в организационном, так и в вычислительном аспектах.
Выбранная модель в значительной степени определяется целью исследования и способами статистического анализа результатов. Можно выделить три основных этапа эксперимента:
1) определение средних значений и дисперсий различных альтернатив;
2) определение, учет важности или значимости влияния переменных и ограничений, наложенных на эти переменные;
3) отыскание оптимальных значений переменных, оптимизирующих работу системы по некоторым критериям.
Эксперимент первого типа сводится к однофакторному анализу, когда в результате опыта необходимо оценить влияние на выходную переменную только одного фактора путем проверки нулевой гипотезы о равенстве выборочных дисперсий. В эксперименте второго типа задача решается путем последовательной вариации уровней факторов в различных сочетаниях с другими уровнями, которые считаются постоянными. Если число факторов и их уровней велико, то учет влияния исследуемых причин на конечный результат становится чрезвычайно сложным и может быть реализован только методами многофакторного дисперсионного и регрессионного анализов. В третьем типе эксперимента предполагается использование методов поиска локальной области экстремумов функций.
При планировании эксперимента решаются вопросы: обеспечения стабильности условий проведения эксперимента; получения несмещенных оценок влияния различных факторов и их уровней; обеспечения минимально возможной взаимной корреляции исследуемых величин; выполнение программы исследований при ограничениях на ресурсы и время.
Процесс анализа и синтеза систем методом имитационного моделирования характеризуется простотой повторения и воспроизведения условий проведения эксперимента, легкостью его останова и возобновления, простотой изменения условий проведения испытаний модели.
Планирование машинного имитационного эксперимента разбивается на два этапа, непосредственно связанных с процессом исследования: предварительное и окончательное планирование.
Предварительное планирование осуществляется после того, как установлены цели эксперимента, определена моделируемая система и выбрана ее имитационная модель. На этом этапе закладываются основы структурной и функциональной моделей планирования, определяются критерии оценки качества, количество и вид экзогенных (входных) переменных.
При окончательном планировании корректируются задачи, поставленные перед исследователем, и методы их реализации с учетом имеющихся в распоряжении экспериментатора ресурсов (по времени и средствам).
При создании структурной модели должен быть решен вопрос о необходимом и достаточном числе факторов и их уровней, точности их измерения, возможных нелинейных эффектах и др. В общем случае сложность структурной схемы плана характеризуется произведением элементов структуры , где k — число входных переменных; q — число уровней i-ой переменной.
После отбора наиболее важных факторов их следует классифицировать, т.е. разделить на переменные и постоянные, управляемые и неуправляемые, контролируемые в процессе испытаний и неконтролируемые, выбрать необходимое число уровней для каждой переменной. Уровни экзогенных переменных с целью упрощения последующего статистического анализа желательно выбирать равностоящими друг от друга (ортогональное разбиение). При этом число элементов структурной схемы становится равным .
Функциональная модель позволяет оценить возможности эксперимента, количество выборочных пространств[7] и переменных отклика, а также определить методы обработки экспериментальных данных, длительность эксперимента в целом и по отдельным реализациям (исходя из ресурса и стоимости машинного времени), т.е. решить вопросы стратегического планирования эксперимента.
При стратегическом планировании решаются следующие задачи:
1) установление стохастической сходимости результатов, определяющей длительность отдельных этапов эксперимента и необходимость поиска методов его сокращения;
2) поиск способов дисперсионного и регрессионного анализов систем при большом числе варьируемых экзогенных переменных;
3) определение многокомпонентности функции реализации, возникающей при наблюдении нескольких различных выходных переменных;
4) выбор наилучших способов поиска экстремумов искомой функции;
5) измерение и обработка нелинейных функций реакции модели.
Статистический эксперимент всегда сопряжен с необходимостью приближенного решения задачи. В результате испытаний должны быть сделаны те или иные выводы с заданной доверительной вероятностью. Оценка искомого показателя является функцией не только экзогенных переменных и параметров модели, но и многих побочных явлений, связанных с подготовкой, постановкой и методикой проведения эксперимента. Именно на этапе стратегического планирования эксперимента и при пробных прогонах модели на ЭВМ необходимо тщательно взвесить и оценить воздействие факторов, непосредственно не связанных с целью и идеей исследования, но существенно влияющих на конечный результат. Эвристические процедуры анализа неформального типа могут указать на факты, касающиеся выбора начальных условий и исходных данных. Побочные явления, определяющие смещение оценок и увеличение их дисперсий, вызываются причинами, связанными с неадекватностью отображения имитационной моделью реальной системы, и причинами, характеризующими неточность отображения математической модели и приближенность расчетов оцениваемых параметров на используемых вычислительных средствах.
Первая группа причин искажения полученных оценок характеризует результаты подготовительных этапов и затраты труда, связанные с проведением натурных испытаний на реальной системе, их длительностью и доброкачественностью, правильным отражением структуры системы, формализацией законов ее функционирования во времени, стабильностью условий проведения испытаний. Эти факторы в реальном эксперименте всегда имеют место, исключить их нельзя, а уменьшить их влияние можно путем сбора дополнительной информации и уточнения имитационной модели.
Другая причина источников методических ошибок обусловлена особенностями используемых при моделировании средств вычислительной техники. Ошибки могут возникать из-за неточности дискретного решения систем дифференциальных уравнений, кусочно-линейной аппроксимации функциональных зависимостей, конечности разрядной сетки ЭВМ, округления промежуточных и конечных результатов. Погрешности, связанные с округлением чисел, зависят от программной реализации моделирующего алгоритма и наличия априорной информации о системе, определяющей необходимую точность и возможность приближенных расчетов на различных этапах моделирования. В процессе обработки опытных данных исследователь может исключить только грубые промахи, остальные ошибки учитываются при анализе причинно-следственных связей искомых переменных и определяющих их изменение факторов.
Длительность эксперимента может оказаться нереализуемой при определении оценок вероятности появления редко встречающихся событий. В этом случае необходимо попытаться перестроить задачу и эксперимент таким образом, чтобы в результате испытаний определялись некоторые вспомогательные вероятности, а искомые переменные находились через вспомогательные аналитическим или логическим способом.
Тактическое планирование предусматривает разработку конкретных способов и приемов проведения испытаний и статистической обработки результатов. Сюда входит задание начальных условий испытаний модели, определение выборочных пространств и методов нахождения оценок анализируемых переменных, установление длительности отдельных этапов эксперимента, выбор способов повышения точности оценок, организация рациональных условий проведения испытаний.
, где k — число входных переменных; q — число уровней i-ой переменной.
.