Нейрокомпьютерные технологии используют взаимодействующие друг с другом специальные нейрокомпоненты на базе микропроцессоров. Такой подход основан на моделировании поведения нервных клеток (нейронов).
Нейрон (биологический) – одна из 1015 клеток мозга, способная генерировать электрический импульс, в случае, когда суммарный потенциал превысит критическую величину. Соединяясь друг с другом, нейроны образуют сеть, по которой путешествуют электрические импульсы. Контакты между нейронами (синапсы), могут менять эффективность передачи сигналов (вес связи) от нейрона к нейрону. Самая популярная на сегодняшний день гипотеза основана на том, что именно нейронные сети мозга обрабатывают информацию. При этом «обучение» сети и запоминание информации базируется на настройке значений весов связей между нейронами [8].
С самого начала развития компьютерной техники были намечены два принципиально разных подхода к обработке информации: принцип последовательной обработки сигналов и параллельное распознавание образов. Последовательная обработка была реализована в виде общераспространенных процессоров электронно-вычислительных машин, что определило основное занятие ЭВМ на десятилетия вперед - решение задач с помощью запрограммированных человеком алгоритмов.
В то же время описание операций над многобитовыми образами при использовании последовательного принципа обработки команд оказалось невозможным, из-за большой сложности описания образов. Требовались качественно другие подходы и модели обработки информации. За основу новых решений были приняты принципы функционирования биологических нейронных сетей, которые составляют основу деятельности человеческого мозга с «образами» внешнего мира - распознавание сенсорной информации и выработка адекватной реакции на внешние воздействия. Появились аналоги биологических нейронных сетей в виде искусственных нейросетей, реализуемых на компьютерах. Основная задача нейросетей - не выполнение внешних алгоритмов, а выработка собственных в процессе обучения - отбраковки неверных решений, т.е. устранения ошибок каждого нейрона.
В настоящее время нейрокомпьютерная технология является одним из наиболее перспективных направлений развития вычислительной техники, основой которой являются искусственные нейронные сети (рис. 17), представляющие собой устройства параллельных вычислений, состоящие из множества простых процессоров. Для представления и обработки данных в искусственных нейронных сетях могут быть использованы позиционные и непозиционные системы счисления. Позиционные системы являются традиционными и для согласования их с нейронными сетями используются искусственные приемы, которые снижают положительные свойства нейронных сетей, связанные с параллельными вычислениями. Непозиционные системы счисления, в частности, система остаточных классов, является параллельной системой и обеспечивает параллелизм на уровне выполнения элементарных операций, т.е. система остаточных классов является естественной основой представления данных в нейронных сетях, обеспечивая их новыми свойствами и возможностями.
Рис. 17. Архитектура нейронной сети
Искусственная нейронная сеть (artificial neural network) – это параллельная система обработки информации, состоящая из обрабатывающих элементов (нейронов), которые локально выполняют операции над поступающими сигналами и могут обладать локальной памятью. Элементы связаны друг с другом однонаправленными каналами передачи сигналов. Каждый обрабатывающий элемент имеет единственный выход, иногда разветвляющийся на несколько каналов (связей), по каждому из которых передается один и тот же выходной (результирующий) сигнал обрабатывающего элемента. Правила образования результирующего сигнала (правила обработки информации внутри элемента) могут варьироваться в широких пределах, важно лишь, чтобы обработка была локальной. Это означает, что обработка должна зависеть от текущих значений входных сигналов, поступающих на элемент через связи и от значений, хранящихся в локальной памяти элемента.
Считается, что теория нейронных сетей, как научное направление, впервые была обозначена в классической работе МакКаллока и Питтса 1943 г., в которой утверждалось, что, в принципе, любую арифметическую или логическую функцию можно реализовать с помощью простой нейронной сети. В 1958 г. Фрэнк Розенблатт придумал нейронную сеть, названную перцептроном, и построил первый нейрокомпьютер Марк-1 . Перцептрон был предназначен для классификации объектов. На этапе обучения «учитель» сообщает перцептрону к какому классу принадлежит предъявленный объект. Обученный перцептрон способен классифицировать объекты, в том числе не использовавшиеся при обучении, делая при этом очень мало ошибок [31].
Новый взлет теории нейронных сетей начался в 1983-1986 г. г. При этом важную роль сыграли работы группы PDP (Parallel Distributed Processing) . В них рассматривались нейронные сети, названные многослойными перцептронами, которые оказались весьма эффективными для решения задач распознавания, управления и предсказания. (Многослойные перцептроны занимают ведущее положение, как по разнообразию возможностей использования, так и по количеству успешно решенных прикладных задач).
Отличительной чертой нейросетей является глобальность связей. Нейроны изначально нацелены на работу с векторной информацией, поскольку каждый нейрон, как правило, связан со всеми нейронами предыдущего слоя обработки данных. Специализация связей возникает лишь на этапе их настройки - обучения на конкретных данных. Архитектура процессора или, иначе говоря, алгоритм решения конкретной задачи проявляется по мере обучения. Каждый нейрон производит простейшую операцию - взвешивает значения своих входов со своими локально хранимыми синаптическими весами и производит над их суммой нелинейное преобразование. Нелинейность выходной функции активации принципиальна, поскольку при ее линейности любая последовательность нейронов производила бы линейное преобразование и, следовательно, была бы эквивалентна одному слоя нейронов. Нелинейность разрушает линейную суперпозицию и приводит к тому, что возможности нейросети много выше возможностей отдельных нейронов.
В основе обучения нейросетей лежит метод градиентной оптимизации - итерационное изменение синаптических весов, постепенно понижающее ошибку обработки нейросетью обучающих примеров. Причем изменения весов происходят с учетом локального градиента функции ошибки. Эффективным методом нахождения этого градиента является так называемый алгоритм обратного распространения ошибки.
Отличия ответов нейросети от заданных распространяются по сети навстречу потоку сигналов. В итоге каждый нейрон может определить вклад каждого своего веса в ошибку сети простым умножением невязки на значение соответствующего входа. Таким образом, одна и та же структура связей используется эффективно и для функционирования и для обучения нейросети. Эта структура позволяет вычислять градиент целевой функции почти так же быстро, как и саму функцию, причем с использованием распределенных вычислений нейронов.
Привлекательные черты обработки информации в нейросетях:
1. Из-за глобальности связей между нейронами, нейросетям присущ параллелизм обработки информации, причем структура сети не фиксирована, а проявляется под каждую конкретную задачу по мере обучения.
2. Единый и эффективный принцип обучения нейросетей - минимизация эмпирической ошибки методом ее обратного распространения по сети. Извне задается лишь цель обучения - сеть сама себя конфигурирует, минимизируя эту ошибку.
3. Нейросети могут вырабатывать собственные, достаточно сложные алгоритмы обработки данных и, таким образом, решать неформализованные задачи.
Детальный анализ разработок нейрокомпьютеров [26; 41; 42; 43] позволяет выделить основные перспективные направления современного развития нейрокомпьютерных технологий: нейропакети, нейросетевые экспертные системы, СУБД с включением нейросетевых алгоритмов, обработка изображений, управление динамическими системами и обработка сигналов, управление финансовой деятельностью, оптические нейрокомпьютеры, виртуальная реальность. Разработками в этой области занимается более 300 заграничных компаний, причем число их постоянно увеличивается. Среди них такие гиганты, как Intel, IBM и Motorolla. Сегодня наблюдается тенденция перехода от программных реализаций к программно-аппаратной реализации нейросетевых алгоритмов с резким увеличением числа разработок нейрочипів с нейросетевой архитектурой. Резко выросло количество военных разработок, в основном направленных на создание сверхскоростных, «умных» супервычислителей.
Если говорить про основное направление - интеллектуализацию вычислительных систем, придание им свойств человеческого мышления и восприятия, то здесь нейрокомпьютеры - практически единственный путь развития вычислительной техники. Большинство неудач на пути усовершенствования искусственного интеллекта на протяжении последних 30 лет связано с тем, что для решения важных и сложных по постановке задач выбирались вычислительные средства, не адекватные по возможностям решаемой задаче, в основном из числа традиционных компьютеров. При этом, как правило, не решалась задача, а показывалась принципиальная возможность ее решения. Сегодня активное развитие компьютерных технологий создал объективные условия для построения вычислительных систем, адекватных по возможностям и архитектуре практически любым задачам искусственного интеллекта.
В Японии с 1993 года принята программа «Real world computing program». Ее основная цель - создание эволюционирующей адаптивной ЭВМ. Проект рассчитан на 10 лет. Основой разработки является нейротехнология, которая используется для распознавания образов, обработки семантической информации, управления информационными потоками и роботами, способных адаптироваться к окружающей среде. Только в 1996 году было проведено около сотни международных конференций по нейрокомпьютерам и смежным проблемам. Разработки нейрокомпьютеров ведутся в многих странах мира, в частности, в Австрали создан образец коммерческого супернейрокомпьютера.
Для какого класса задач эффективно применение вычислительного устройства, построенного по новой технологии? Относительно нейрокомпьютеров ответ на этот вопрос постоянно меняется на протяжении 50 лет.
В истории вычислительной техники всегда были задачи, не решаемые традиционными компьютерами с архитектурой фон Неймана и для них переход к нейросетевым технологиям закономерен в случае увеличения размерности пространства или сокращения времени обработки. Можно выделить три участка применения нейросетевым технологий: общий, прикладной и специальный.
Общие задачисводятся к обработке нейронною сетью многомерных массивов переменных, например:
- контроль кредитных карточек. Сегодня 60% кредитных карточек в США обрабатываются с помощью нейросетевых технологий;
- система выявления скрытых веществ с помощью системы на базе тепловых нейронов и с помощью нейрокомпьютера на заказанных цифровых нейрочипах. Подобная система фирмы SAIC эксплуатируется во многих аэропортах США при обзоре багажа для выявления наркотиков, взрывных веществ, ядерных и других материалов;
- система автоматизированного контроля безопасного сохранения ядерных изделий.
Прикладные задачи.Перспективными задачами обработки изображений нейрокомпьютеров является обработка аэрокосмических изображений (сжатие с восстановлением, сегментация, обработка изображений), поиск, выделение и распознавание на изображении подвижных объектов заданной формы, обработка потоков изображений, обработка информации в высокопроизводительных сканерах.
Обработка сигналов.В первую очередь это класс задач, связанный с прогнозированием временных зависимостей:
- прогнозирование финансовых показателей;
- прогнозирование надежности электродвигателей;
- предвидение мощности АЭС и прогнозирование надежности систем электропитания на самолетах.
При решении этих задач наблюдается переход от простейших регрессионных и других статистических моделей прогноза до нелинейных адаптивных экстраполирующих фильтров, реализованных в виде сложных нейронных сетей.
Системы управления динамическими объектами.Это одна из самых перспективных, областей применения нейрокомпьютеров. В США и Финляндия ведут работы по использованию нейрокомпьютеров для управления химическими реакторами. В странах СНГ этим не занимались, в частности, через моральное устарение существующих реакторов и нецелесообразность усовершенствования их систем управления.
Перспективной считается разработка нейрокомпьютера для управления подвижной установкой гиперзвукового самолета. Актуальной для решения с помощью нейрокомпьютера является задача обучения нейронной сети изготовлению точного маневра истребителя, задача управления роботами: прямая, обратная кинематическая и динамическая задачи, планирование маршрута движения работа. Переход к нейрокомпьютерам связан в первую очередь с ограниченностью объемов размещения вычислительных систем, а также с необходимостью реализации эффективного управления в реальном масштабе времени.
Нейросетевые экспертные системы.Необходимость реализации экспертных систем с алгоритмом нейросетей возникает при значительном увеличении числа правил и выводов. Примерами реализации конкретных нейросетевых экспертных систем могут служить система выбора воздушных маневров в ходе воздушного боя и медицинская диагностическая экспертная система для оценки состояния летчика.
Нейрочипы и нейрокомпьютеры.Главным результатом разработки нейросетевых алгоритмов решения задачи является возможность создания архитектуры нейрочипа, адекватной решаемой задаче. Для реализации нейросетевых алгоритмов с использованием универсальных микропроцессорных средств эффективней создать архитектуру, ориентированную на выполнение нейросетевых операций, чем использовать стандартные алгоритмы, ориентированные на модификацию решения задачи.
В отличие от других направлений развития сверхпродуктивной вычислительной техники, нейрокомпьютеры дают возможность вести разработки с использованием имеющегося потенциала электронной промышленности. Необходимо отметить ряд важных особенностей данных работ:
- это направление разрешает создавать уникальные суперкомпьютеры на имеющейся элементной базе;
- разработки нейрочипов и нейрокомпьютеров характеризуются переходом от цифровой обработки до аналого-цифровой и аналоговой;
- нейросетевые архитектуры по сравнению с другими приводят к активизации использования новых технологических направлений реализации: нейросистемы на пластмассе, оптоэлектронные и оптические нейрокомпьютеры, молекулярные нейрокомпьютеры и нанонейроэлементы; возникает потребность в универсализации САПР нейрочипов.
- создание технологии систем на пластмассе и нанотехнологии может привести к появлению новых сверхпараллельных архитектур. Начиная с нанонейроэлементов, мы вплотную подходим к принципиально новым архитектурным элементам, образующие сверхпараллельные высокопроизводительные вычислительные системы.
Таким образом, нейрокомпьютеры являются перспективным направлением развития современной высокопроизводительной вычислительной техники, а теория нейронных сетей представляет собой приоритетные направления вычислительной науки, и при соответствующей поддержке интенсивно развиваются.
