Лекция №8

План лекции.

1. Основные понятия планирования эксперимента.

2. Факторный эксперимент.

3. Стратегическое и тактическое планирование.

Планирование эксперимента и оценка результатов

Основные понятия планирования эксперимента

Машинный эксперимент проводится с целью получения информации о характеристиках процесса функционирования рассматриваемого объекта. Эта информация может быть получена как для анализа характеристик, так и для синтеза структуры, алгоритмов и параметров системы S. В зависимости от поставленных целей моделирования системы S на ЭВМ имеются различные подходы к организации имитационного эксперимента.

Эффективность машинных экспериментов с моделями М_м существенно зависит от выбора плана эксперимента, так как именно план определяет объем и порядок проведения вычислений на ЭВМ, приемы накопления и статистической обработки результатов моделирования системы S.

Планирование эксперимента – это постановка опытов по некоторой заранее составленной схеме; средство построения математической модели реального процесса; и способ сокращения средств и времени.

Основная задача планирования машинных экспериментов с моделью М_м формулируется следующим образом: необходимо получить информацию об объекте моделирования, заданном в виде моделирующего алгоритма (программы), при минимальных или ограниченных затратах машинных ресурсов на реализацию процесса моделирования.

К числу частных задач, решаемых при планировании машинных экспериментов, относятся задачи уменьшения затрат машинного времени на моделирование, увеличения точности и достоверности результатов моделирования, проверки адекватности модели и т. д.

Таким образом, при машинном моделировании целесообразно планировать и проектировать не только саму модель М_м системы S, но и процесс ее использования, т. е. проведение экспериментов.

Несмотря на то что цели экспериментального моделирования на ЭВМ и проведения натурных экспериментов совпадают, между ними существуют различия, поэтому для планирования эксперимента наиболее важное значение имеет следующее:

1) простота повторения условий эксперимента на ЭВМ с моделью М_м системы S;

2) возможность управления экспериментом с моделью М_м, включая его прерывание и возобновление;

3) легкость варьирования условий проведения эксперимента (воздействий внешней среды Е);

4) наличие корреляции между последовательностью точек в процессе моделирования;

5) трудности, связанные с определением интервала моделирования (0, Т).

Преимуществом машинных экспериментов перед натурными является возможность полного воспроизведения условий эксперимента с моделью исследуемой системы S. Простота прерывания и возобновления машинного эксперимента позволяет применять последовательные и эвристические приемы планирования, которые могут оказаться нереализуемыми в экспериментах с реальными объектами.

Недостатком машинных экспериментов является то, что часто возникают трудности, связанные с наличием корреляции в выходных последовательностях, т. е. результаты одних наблюдений зависят от результатов одного или нескольких предыдущих, и поэтому в них содержится меньше информации, чем в независимых наблюдениях. Так как в большинстве существующих методов планирования экспериментов предполагается независимость наблюдений, то многие из этих методов нельзя применять непосредственно для машинных экспериментов.

Рассмотрим основные понятия теории планирования экспериментов.

В связи с тем, что математические методы планирования экспериментов основаны на кибернетическом представлении процесса проведения эксперимента, наиболее общей моделью последнего является абстрактная схема, называемая «черным ящиком». При таком кибернетическом подходе различают входные и выходные переменные: х₁ х₂, ..., x_k, y₁, y₂, ..., y_i.

Модели динамических систем делятся на детерминированные и статистические. Статистической моделью системы управления является и детерминированная модель с добавлением к выходной величине случайной ошибки. Эти модели бывают стационарные и нестационарные. В свою очередь стационарные модели могут быть эргодические и неэргодические. Для эргодического процесса, если взять достаточно большой интервал времени, то по одной реализации можно создать представление о случайном процессе в целом. Для неэргодического процесса среднее значение для каждой реализации своё и здесь нельзя с помощью одной реализации описать процесс.

B зависимости от того, какую роль играет каждая переменная в проводимом эксперименте, она может являться либо фактором, либо реакцией.

если цель эксперимента — изучение влияния переменной х на переменную у, то х — фактор, а у — реакция. В экспериментах с машинными моделями М_м системы S фактор является независимая или управляемой (входной) переменной, а реакция — зависимой (выходной) переменной.

Каждый фактор х_i i=1, k может принимать в эксперименте одно из нескольких значений, называемых уровнями. Фиксированный набор уровней факторов определяет одно из возможных состояний рассматриваемой системы. Одновременно этот набор представляет собой условия проведения одного из возможных экспериментов.

Каждому фиксированному набору уровней факторов соответствует определенная точка в многомерном пространстве, называемом факторным пространством.

Функцию, связывающую реакцию с факторами, называют функцией реакции, а геометрический образ, соответствующий функции реакции,— поверхностью реакции.

(4.1)

Эти функции заранее неизвестны, поэтому используют приближения

, (4.2)

которые находятся по данным эксперимента.

Факторы могут быть управляемыми и неуправляемыми, наблюдаемыми и ненаблюдаемыми, изучаемыми и неизучаемыми, количественными и качественными, фиксированными и случайными.

Фактор называется управляемым, если его уровни целенаправленно выбираются исследователем в процессе эксперимента.

Фактор называется наблюдаемым, если его значения наблюдаются и регистрируются. Неуправляемый фактор также можно наблюдать. Наблюдаемые неуправляемые факторы называются сопутствующими.

Фактор относится к изучаемым, если он включен в модель М_м для изучения свойств системы S, а не для вспомогательных целей.

Фактор будет количественным, если его значения — числовые величины, влияющие на реакцию, а в противном случае фактор называется качественным.

Фактор называется фиксированным, если в эксперименте исследуются все интересующие экспериментатора значения фактора, а если экспериментатор исследует только некоторую случайную выборку из совокупности интересующих значений факторов, то фактор называется случайным.

Основными требованиями, предъявляемыми к факторам, являются:

– требование управляемости фактора и требование непосредственного воздействия на объект. Под управляемостью фактора понимается возможность установки и поддержания выбранного нужного уровня фактора постоянным в течение всего испытания или изменяющимся в соответствии с заданной программой. Требование непосредственного воздействия на объект имеет значение в связи с тем, что трудно управлять фактором, который является функцией других факторов.

– требование совместимости и независимости. Совместимость факторов означает, что все их комбинации осуществимы, а независимость соответствует возможности установления фактора на любом уровне независимо от уровней других.

Эксперименты могут быть реализованы лишь в тех точках факторного пространства, которые принадлежат допустимой области. Выбор экспериментальной области факторного пространства связан с тщательным анализом априорной информации, так как в этой области находят локальную подобласть для планирования эксперимента.

Интервалом варьирования факторов называют некоторое число, прибавление которого к основному уровню дает верхний, а вычитание - нижний уровни факторов. Т.е. это расстояние на координатной оси между основным и верхним (либо нижним) уровнем. После этого выбирают основной уровень. За основной уровень принимаются те значения факторов, при которых выходная величина принимает лучшее значение, причем эта точка не должна лежать близко к границам области. Через эту точку проводят новые оси координат, параллельно осям натуральных значений факторов. Затем для каждого фактора выбирают масштабы по новым осям.

Рис. 4.1. Геометрическое представление поверхности реакции

На выбор интервала варьирования накладываются естественные ограничения сверху и снизу. Интервал варьирования не может быть меньше ошибки, которая допускается при фиксации уровня фактора, так как в этом случае верхний и нижний уровни будут неразличимы. И, с другой стороны, интервал варьирования ограничен сверху пределами области определения. Например, температура принципиально не может быть ниже абсолютного нуля и выше температуры плавления материала, из которого изготовлена термобарокамера.

Для упрощения записи условий эксперимента и обработки экспериментальных данных масштабы по осям выбираются таким образом, чтобы верхний уровень соответствовал +1, а нижний -1, основной – нулю. Уровни, записанные в таких обозначениях, называются кодированными:

(4.3)

где – кодированное значение фактора; j – номер фактора; – натуральное значение фактора; – натуральное значение основного уровня; – интервал варьирования.

Пример. l₁=2; =3.

Рис. 4.2

После определения интервалов варьирования выбирают значения факторов, т.е. число уровней для каждого фактора. Это число не может быть меньше двух, т.е. если сделать один уровень, то фактор окажется постоянным во всех опытах.

Эксперимент, в котором реализуются все возможные сочетания уровней факторов, называют полным факторным экспериментом (ПФЭ). При двух уровнях факторов получают полный факторный эксперимент типа 2^К. Число опытов для данного случая будет равно

.

Условия эксперимента записываются в виде таблицы. Ее строки соответствуют различным опытам (вектор-строка), а столбцы – значениям факторов в кодированном виде (вектор-столбцы). Такие таблицы называются матрицами планирования эксперимента (МПЭ).

Таблица 4.1

План эксперимента можно представить геометрически (рис. 4.3, 4.4). Для плана 2² каждая комбинация факторов представляет собой вершину квадрата.

Рис. 4.3. Геометрическая интерпретация эксперимента :

а – без масштабирования, б – с масштабированием

Рис. 4.4. Геометрическая интерпретация эксперимента

К свойствам МПЭ типа относятся те, которые определяют качество модели, т.е. эти свойства дают наилучшие оценки коэффициентов модели. Первые два свойства вытекают из построения матрицы. К ним отностся:

1. Симметричность относительно центра эксперимента. Алгебраическая сумма элементов столбца каждого фактора равно нулю , где j- номер фактора, N - число опытов.

2. Условие нормировки. Сумма квадратов элементов каждого столбца равна числу опытов .

3. Ортогональность матрицы. Сумма почленных произведений любых двух векторов-столбцов матрицы равна нулю , где .

Ортогональные планы делают эксперимент более эффективным. Ортогональность плана позволяет получить оценки для коэффициентов уравнения регрессии независимые друг от друга. Иными словами ортогональность характеризует отсутствие корреляции между факторами. Однако, если имеет место нелинейность, то столбцы взаимодействий окажутся неразличимы, закоррелироваными с некоторыми столбцами линейных эффектов. Это приводит к тому, что по результатам данного эксперимента становится невозможным разделить коэффициенты регрессии между линейными и нелинейными факторами.

4. Рототабельность планов. Это такие планы, для которых дисперсия одинакова для всех точек пространства переменных x, лежащих на одинаковых расстояниях от центра.

Достаточно часто имеет место взаимодействие факторов, тогда в таблице эксперимента перемножают соответствующие столбы.

Таблица 4.2.

Стратегическое и тактическое планирование экспериментов

Экспериментально-статистические методы в основном базируются на использовании пассивного и активного эксперимента.

При пассивном эксперименте исследователь находится в роли пассивного наблюдателя. Эксперимент ведет сама природа. Экспериментатору приходится только фиксировать значения входных и выходных величин. Модели, полученные методом пассивного эксперимента, почти не удается проверить на адекватность.

При активном эксперименте исследователь вмешивается в процесс эксперимента путем варьирования уровней входных величин. В рамках активного эксперимента построение модели проходит следующие этапы:

1) выбирается форма модели процесса;

2) строится план эксперимента;

3) проводится экспериментирование;

4) дается анализ результатов эксперимента.

На практике экспериментатору приходится чаще планировать не один, а несколько экспериментов, выполняя и анализируя каждый и, в соответствии с результатами, изменять план эксперимента. Стратегия такого эксперимента показана на рис. 4.5.

Рис. 4.5. Стратегия эксперимента

Применяя системный подход к планированию машинных экспериментов, можно выделить две составляющие планирования: стратегическое и тактическое планирование.

Стратегическое планирование ставит своей целью решение задачи получения необходимой информации о системе S с помощью модели М_м, реализованной на ЭВМ. По своей сути стратегическое планирование аналогично внешнему проектированию при создании системы S, только здесь в качестве объекта выступает процесс моделирования системы.

При стратегическом планировании машинных экспериментов возникает ряд проблем, взаимно связанных с особенностями функционирования моделируемого объекта (системы S), с особенностями машинной реализации модели М_м и обработки результатов эксперимента. В первую очередь к таким проблемам относятся: проблемы построения плана машинного эксперимента; наличие большого количества факторов; многокомпонентность функции реакции; проблема стохастической сходимости результатов машинного эксперимента; ограниченность машинных ресурсов на проведение эксперимента.

Основная проблема стратегического планирования машинных экспериментов – это наличие большого количества факторов. Если факторы x_i i=1, k, являются количественными, а реакция у связана с факторами некоторой функцией,то в качестве метода обработки результатов эксперимента может быть выбран регрессионный анализ. Когда при моделировании требуется полный факторный анализ, то проблема большого количества факторов может не иметь решения. Достоинством полных факторных планов является то, что они дают возможность отобразить всю поверхность реакции системы, если количество факторов невелико. Эффективность этого метода существенно зависит от природы поверхности реакции.

Следующей проблемой стратегического планирования является многокомпонентность функция реакции. В имитационном эксперименте с вариантами модели системы S на этапе ее проектирования часто возникает задача, связанная с необходимостью изучения большого числа переменных реакции. Эту трудность в ряде случаев можно обойти, если разделить имитационный эксперимент на несколько имитационных экспериментов, в каждом из которых исследуется (наблюдается) только одна реакция.

Проблема стохастической сходимости результатов машинного эксперимента возникает вследствие того, что целью проведения конкретного эксперимента при исследовании и проектировании системы S является получение на ЭВМ количественных характеристик процесса функционирования системы S с помощью машинной модели М_м. В качестве таких характеристик наиболее часто выступают средние значения, находящиеся путем многократных прогонов модели на ЭВМ, причем, чем больше выборка, тем больше вероятность того, что выборочные средние приближаются к истинным средним. Сходимость выборочных средних с ростом объема выборки называется стохастической сходимостью. Следовательно, необходимо большое количество экспериментов.

В стратегическом планировании машинных экспериментов можно выделить следующие этапы:

1) построение структурной модели;

2) построение функциональной модели.

Структурная модель выбирается исходя из того, что должно быть сделано, а функциональная — из того, что может быть сделано.

Структурная модель плана эксперимента характеризуется числом факторов и числом уровней для каждого фактора. Число элементов эксперимента равно

,

где k — число факторов эксперимента; q — число уровней i-го фактора, i=1, k. При этом под элементом понимается структурный блок эксперимента, определяемый как простейший эксперимент в случае одного фактора и одного уровня.

Функциональная модель плана эксперимента определяет количество элементов структурной модели N_ф, т. е. необходимое число различных информационных точек. При этом функциональная модель может быть полной и неполной.

Функциональная модель называется полной, если в оценке реакции участвуют все элементы, т. е. N_ф = N_с, и неполной, если число реакций меньше числа элементов, т. е. N_ф<N_с, Основная цель построения функциональной модели — нахождение компромисса между необходимыми действиями при машинном эксперименте (исходя из структурной модели) и ограниченными ресурсами на решение задачи.

Таким образом, использование при стратегическом планировании машинных экспериментов структурных и функциональных моделей плана позволяет решить вопрос о практической реализуемости модели на ЭВМ исходя из допустимых затрат ресурсов на моделирование системы S.

Тактическое планирование представляет собой определение способа проведения каждой серии испытаний машинной модели, предусмотренных планом эксперимента, и оно связано с вопросами эффективного использования выделенных для эксперимента машинных ресурсов.

Тактическое планирование машинного эксперимента связано, прежде всего, с решением следующих проблем:

1) определения начальных условий и их влияния на достижение установившегося результата при моделировании;

2) обеспечения точности и достоверности результатов моделирования;

3) уменьшения дисперсии оценок характеристик процесса функционирования моделируемых систем;

4) выбора правил автоматической остановки имитационного эксперимента с моделями систем.

Первая проблема при проведении машинного эксперимента возникает вследствие искусственного характера процесса функционирования модели М_м, которая в отличие от реальной системы S работает эпизодически.

Решение второй проблемы тактического планирования связано с оценкой точности и достоверности результатов моделирования (при конкретном методе реализации модели, например, методе статистического моделирования на ЭВМ) при заданном числе реализаций (объеме выборки), и с оценкой необходимого числа реализаций при заданных точности и достоверности результатов моделирования системы S.

С выбором количества реализаций при обеспечении необходимой точности и достоверности результатов тесно связана проблема уменьшения дисперсии. В настоящее время существуют методы, позволяющие при заданном числе реализаций увеличить точность оценок, полученных на машинной модели М_м, и, наоборот, при заданной точности оценок сократить необходимое число реализаций при статистическом моделировании. Эти методы используют априорную информацию о структуре и поведении моделируемой системы S и называются методами уменьшения дисперсии.

Простейший способ решения проблемы автоматической остановки имитационного эксперимента – задание требуемого количества реализаций N, или длины интервала моделирования Т. Однако такой подход неэффективен, так как в его основе лежат достаточно грубые предположения о распределении выходных переменных, которые на этапе планирования являются неизвестными.

Другой способ – задание доверительных интервалов для выходных переменных и остановка прогона машинной модели М_м при достижении заданного доверительного интервала, что позволяет теоретически приблизить время прогона к оптимальному. Однако, введение в модель М_м правил остановки и операций вычисления доверительных интервалов увеличивает машинное время, необходимое для получения одной точки.

Правила автоматической остановки могут быть включены в машинную модель следующими способами:

1) путем двухэтапного проведения прогона, когда сначала делается пробный прогон из N* реализаций, позволяющий оценить необходимое количество реализаций N (причем если N*≥N, то прогон можно закончить, в противном случае количество реализаций необходимо дополнить (набрать еще N—N* реализаций);

2) путем использования последовательного анализа для определения минимально необходимого количества реализаций N, которое рассматривается при этом как величина, зависящая от результатов N—1 предыдущих реализаций эксперимента.

Таким образом, чем сложнее машинная модель М_м, тем важнее этап тактического планирования машинного эксперимента. Процесс планирования машинных экспериментов смоделью М_м носит итерационный характер, т. е. при уточнении некоторых свойств моделируемой системы S этапы стратегического и тактического планирования экспериментов могут чередоваться.