На начальных этапах идентификации и концептуализации, связанных с определением контуров будущей системы, инженер по знаниям выступает в роли ученика, а эксперт – в роли учителя, мастера. На заключительных этапах реализации и тестирования инженер по знаниям демонстрирует результаты разработки, адекватность которых проблемной области оценивает эксперт. На этапе тестирования это могут быть совершенно другие эксперты.
На этапе тестирования созданные экспертные системы оцениваются с позиции двух основных групп критериев: точности и полезности.
С точностью работы связаны такие характеристики, как правильность делаемых заключений, адекватность базы знаний проблемной области, соответствие применяемых методов решения проблемы экспертным. Поэтому ключевые оценки системе ставят специалисты в проблемной области – эксперты. Полезность же экспертной системы характеризуется степенью удовлетворения требований пользователя в части получения необходимых рекомендаций, легкости и естественности взаимодействия с системой, надежности, производительности и стоимости эксплуатации, способности обоснования решений и обучения настройки на изменение потребностей. Оценивание экспертной системы осуществляется по набору текстовых примеров как из предшествующей практики экспертов, так и специально подобранных ситуаций. Результаты тестирования подлежат статистической обработке, после чего делаются выводы о степени точности работы экспертной системы.
Идентификация проблемной области
Переформулирование
Требования
Концептуализация проблемной области
Тестирование базы знаний
Опытная эксплуатация
Реализация базы знаний
Формализация базы знаний
Переформулирование
Модель
Перепроектирование
Структура
Уточнение
Коды
Этапы создания экспертной системы
Следующий этап жизненного цикла экспертной системы – внедрение и опытная эксплуатация в массовом порядке без непосредственного контроля со стороны разработчиков и переход от текстовых примеров к решению реальных задач. Важнейшим критерием оценки становятся соотношение стоимости системы и ее эффективности. На этом этапе осуществляется сбор критических замечаний и внесение необходимых изменений. В результате опытной эксплуатации может потребоваться разработка новых специализированных версий, учитывающих особенности проблемных областей.
На всех этапах разработки инженер по знаниям играет активную роль, а эксперт – пассивную. По мере развития самообучающихся свойств экспертных систем роль инженера по знаниям уменьшается, а активное поведение заинтересованного в эффектной работе экспертной системы пользователя –эксперта возрастает. Описание приемов извлечения знаний инженерами знаний представлено в таблице:
Приемы
Описание
1. Наблюдение
Инженер наблюдает, не вмешиваясь за тем, как эксперт решает реальную задачу
2. Обсуждение задачи
Инженер на представительном множестве задач неформально обсуждает с экспертом данные, знания и процедур решения.
3. Описание задачи
Эксперт описывает решение задач для типичных запросов
4. Анализ решения
Эксперт комментирует получаемые результаты решения задачи, детализируя ход рассуждений
5. Проверка системы
Эксперт предлагает инженеру перечень задач для решения (от простых до сложных), которые решаются разработанной системой.
6. Исследование системы
Эксперт исследует и критикует структуру базы знаний и работу механизма вывода.
7. Оценка системы
Инженер предлагает новым экспертам оценить решения разработанной системы.
Первые два этапа разработки экспертной системы составляют логическую стадию, не связанную с применением четко определенного инструментального средства. Последующие этапы реализуются в рамках физического создания проекта на базе выбранного инструментального средства. Вместе с тем, процесс создания экспертной системы, как сложного программного продукта, имеет смысл выполнять методом прототипного проектирования, сущность которого сводится к постоянному наращиванию базы знаний, начиная с логической стадии.
Прототипная технология создания экспертной системы означает, что простейший прототип будущей системы реализуется с помощью любого подручного инструментального средства еще на этапах идентификации и концепту ализации, в дальнейшем этот прототип детализируется, концептуальная модель уточняется, реализация выполняется в среде окончательно выбранного инструментального средства. После каждого этапа возможны итеративные возвраты на уже выполненные этапы проектирования, что способствует постепенному проникновению инженера по знаниям в глубину решаемых проблем, эффективности использования выделенных ресурсов, сокращению времени обработки, постоянному улучшению компетентности и производительности системы.
