Алфавит и лексемы

Все тексты на языке пишутся с помощью его алфавита. Алфавит Паскаля включает:

• прописные и строчные латинские буквы, знак подчеркивания _ ;
• цифрыот 0 до 9;
• специальные символы, например +, *, { и @;
• пробельные символы: пробел, табуляцию и переход на новую строку.

Из символов составляются лексемы (tokens), то есть минимальные единицы языка, имеющие самостоятельный смысл:

• константы;
• имена(идентификаторы);
• ключевые слова;
• знаки операций;
• разделители(скобки, точка, запятая, пробельные символы).

Лексемы языка программирования аналогичны словам естественного языка. Например, лексемами являются число 128 , имя Vasia, ключевое слово goto и знак операции сложения + . Компилятор при синтаксическом разборе текста программы определяет границы одних лексем по другим, например разделителям или знакам операций. Из лексем строятся выражения и операторы. Рассмотрим каждый вид лексем подробнее.