Понятие алгоритма является одним из основных понятий современной информатики. Термин алгоритм происходит от algorithmi – латинской формы написания имени выдающегося математика IX века аль-Хорезми, который сформулировал правила выполнения арифметических операций.
Вплоть до 30-х годов прошлого столетия понятие алгоритма носило сугубо интуитивный характер. Под алгоритмом понимали: конечный набор точных и понятных предписаний (правил, инструкций, команд), позволяющих механически решать конкретную задачу из определенного класса однотипных задач. Основными свойствами такого «интуитивного» понятия алгоритма являются:
Массовость. Означает, что алгоритм применим к целому классу задач, а при решении конкретной задачи из класса исходные данные могут меняться в определенных пределах.
Детерминированность. Процесс применения правил к исходным данным (путь решения задачи) определен однозначно.
Дискретность. Означает, что путь решения задачи определен в виде последовательности шагов – четко разделенных друг от друга предписаний. Только выполнив одно предписание, можно приступить к выполнению следующего.
Результативность. На каждом шаге процесса применения правил известно, что считать результатом этого процесса, а сам процесс должен закончиться за конечное число шагов.
Понятность. Означает, что алгоритм создается в расчете на определенного исполнителя, т.е. необходимо, чтобы он мог понять и выполнить каждый шаг предписания.
Для задач, имеющих положительное решение, этого определения достаточно. Другое дело, когда задача или класс задач не имеют решения. В этом случае требуется строго формализованное понятие алгоритма, чтобы иметь возможность доказать его отсутствие. Определение такого понятия алгоритма стала одной из центральных математических проблем. Решение было получено в середине 30-х годов в работах известных математиков, в двух эквивалентных формулировках: на основе особого класса арифметических функций, называемых рекурсивными (Д. Гильберт, К. Гедель, А. Черч, С. Клини), и на основе абстрактных автоматов (Э. Пост и А. Тьюринг). Появилось целое математическое направление – теория алгоритмов, в которой в основу определения алгоритма было поставлено особое соответствие между словами в том или ином абстрактном алфавите (А. Марков, Л. Калужнин). Теория алгоритмов оказалась тесно связанной не только с теоретической математикой (математической логикой, алгеброй, геометрией, анализом), но и с рядом областей лингвистики, экономики, физиологии мозга, философии, естествознания. Примером задачи этой области может служить описание алгоритмов, реализуемых человеком в процессе умственной деятельности.
С появлением ЭВМ возникла область теории алгоритмов, тесно связанная с информатикой, которая стала теоретической основой таких ее составных частей, как теория программирования, построение алгоритмических языков и ЭВМ, разработка трансляторов, анализа алгоритмов с целью выбора наиболее рационального для решения на ЭВМ и т.д.