Программа

Содержание отдельных разделов и тем.

А) Теоретическая часть

1.Введение в нейрокомпьютерные системы. Элементы нейронных сетей.

Понятие нейронной сети (НС). История возникновения НС и перспективы их развития.

Отличия НС от традиционных вычислительных систем.

Элементы нейронных сетей и задача разделения двух классов

Элементы НС. Задача четкого разделения двух классов на обучающей выборке.

Разделение центров масс. Алгоритм обучения персептрона. Виды обучения.

Геометрическая интерпретация задачи разделения двух классов. Аппроксимация

функций. Адалайн. Паде-нейрон. Нейрон с квадратичным сумматором.

2. Виды нейронных сетей и решаемые ими задачи

Реализация булевских функций посредством НС. Виды НС. Способы организации

функционирования НС. Интерпретация ответов НС. Виды интерпретации. Оценка

способности НС решить поставленную задачу. Константа Липшица сети. Метод

обратного распространения ошибки.

3. Методы оптимизации, используемые при обучении нейронных сетей

Особенности задачи оптимизации, возникающей при обучении НС. Выбор направления

минимизации. Партан-методы. Одношаговый квазиньютоновский метод и сопряженные

градиенты. Одномерная минимизация. Методы глобальной оптимизации. Алгоритм

имитации отжига. Генетические алгоритмы. Использование случайных возмущений в

обучении. Метод виртуальных частиц.

4. Рекуррентные нейронные сети как устройства ассоциативной памяти

Нейронная сеть Хопфилда как ассоциативная память. Сеть Хемминга. Двунаправленная

ассоциативная память.

Решение задач комбинаторной оптимизации на нейронных сетях

Решение задачи коммивояжера на сети Хопфилда. Машина Больцмана.

5. Самоорганизация нейронных сетей

Метод динамических ядер. Сети Кохонена.

6. Контрастирование (редукция) нейронной сети.

Оценка значимости параметров и сигналов.Сокращение числа входов в линейном

сумматоре методом "снизу-вверх". Метод исключения параметров "сверху-вниз" с

ортогонализацией. Бинаризация адаптивного сумматора.

7. Методы реализации нейрокомпьютеров

Электронные методы реализации НС. Нейрочипы. Нейропроцессор NM6403. Оптические

методы реализации НС.

Б) Практические занятия

1. Модели нейронов и методы их обучения

Персептрон. Сигмоидальный нейрон. Нейрон типа «адалайн». Паде-нейрон. Нейрон с

квадратичным сумматором. Нейроны типа WTA. Нейрон Хебба. Стохастическая модель

нейрона.

2. Многослойные сигмоидальные сети

Многослойный персептрон. Алгоритм обратного распространения ошибки. Алгоритм

наискорейшего спуска. Алгоритм сопряженных градиентов. Партан-методы. Подбор

коэффициента обучения.

3.Рекуррентные сети как ассоциативные запоминающие устройства

Автоассоциативная сеть Хопфилда. Обучение сети Хопфилда по правилу Хебба.

Обучение сети Хопфилда методом проекций. Сеть Хемминга. Двунаправленная

ассоциативная память.

2.4. Перечень примерных контрольных вопросов и заданий для самостоятельной

работы – см. раздел 3.2 (вопросы для подготовки к экзамену).

.