Переобучение и обобщение

Прикладные возможности нейронных сетей

Сбор данных для нейронной сети

Концепция обучения нейронной сети, предложенная Хэбом

Данная концепция подразумевает, что значения веса между нейронами возрастают, если оба нейрона находятся в возбужденном состоянии:

Препроцессирование данных предполагает шкалирование входных значений, перевод номинальных переменных в числовые, т.е. предварительную обработку данных.

Постпроцессирование – заключительная обработка полученных значений.

Основные принципы предварительной обработки:

· Данные должны соответствовать действительности;

· Обучающие последовательности должны содержать все возможные наборы данных;

· Разбор данных должен быть сбалансированным;

17.09.2011

Выполняемые сетью функции можно распределить на несколько основных групп:

1) Аппроксимация и интерполяция;

2) Распознавание и классификация образов;

3) Сжатие данных;

4) Прогнозирование;

5) Идентификация;

6) Управление;

7) Ассоциация;

В каждом из назначенных приложений нейронная сеть играет роль универсального аппроксиматора функции от нескольких переменных. Для классификации и распознавания образов сеть обучается их важнейшим признакам, отличающим образы друг от друга, которые и составляют базу для принятия решения об отнесении их к соответствующему классу.

При решении зада прогнозирования роль нейронной сети состоит в предсказании будущей реакции системы по её предшествующему поведении.. Для адаптации весовых коэффициентов используется фактическая погрешность прогнозирования и значения этой погрешности в предшествующие моменты времени.

При решении задач идентификации и управления динамическими процессами нейронная сеть выполняет несколько функций: она представляет собой нелинейную модель этого процесса, обеспечивающую выработку соответствующего управляющего воздействия.

В задачах ассоциации нейронная сеть играет роль ассоциативного запоминающего устройства. Выделяют ЗУ автоассоциативного типа, с помощью которых определяется корреляция между отдельными компонентами одного и того же входного вектора, и ЗУ гетеро ассоциативного типа, средствами которых устанавливается корреляция между двумя различными векторами.

Переобучение нейронной сети заключается в том, что минимизируя ошибку на обучающем множестве, нейронная сеть перестает обладать способностью обобщать результат на новые наблюдения. Для преодоления этой проблемы используется механизм контрольной кросс-проверки. Мы резервируем часть обучающих наблюдений и не используем их в обучении. Они используются для независимого контроля результатов.

В начале работы ошибка сети на обучающем и контрольном множестве будет одинаковой. По мере обучения сети ошибка убывает, и пока обучение уменьшает действительную функцию ошибок, ошибка на контрольном множестве та же будет убывать. Если же контрольная ошибка перестала убывать и расти, то обучение следует остановить, поскольку сети переобучена. При этом необходимо уменьшить число нейронов (а иногда и слоёв) нейронной сети.

Другой проблемной обучения нейронных сетей является проблема локальных минимумов. Для их преодоления необходимо передаваясь сети входные данные не только из одного диапазона, но и имеющие значительное преимущество.