Токен

Матеріал з Вікіпедії — вільної енциклопедії.

токен - об'єкт, що утворюється із лексеми в процесі лексичного аналізу. В прикладному програмуванні поняття токену та його лексема можуть не розрізняти.

Шаблон токена — формальний опис класу лексем, які можуть утворити даний тип токена.

Приклади
тип токена приклади лексем опис
string "Мова \"C\"" рядкова стала
id Name01 ідентифікатор
relop >= операції відношення
num 13 число



Комп'ютер Це незавершена стаття про комп'ютери.
Ви можете допомогти проекту, виправивши або дописавши її.
Іншими мовами