lexical token
lekseem
= lexical element = lexical unit
olemus
sõna või muu leksikalse liigenduse element
= a word or other atomic parse element
näiteid
ISO/IEC 2382:
programmikeele alfabeedi ühest või mitmest märgist koosnev string, mis kokkuleppeliselt esitab mingit tähenduse elementaarüksust, näiteks literaal (nt 2G5) või identifikaator (nt pernimi) Pascalis
= _a string of one or more characters of the alphabet of a programming language that, by convention, represents an elemental unit of meaning
Example: a literal such as 2G5 or an identifier such as lastname in Pascal_
ülevaateid
https://www.quora.com/What-is-a-token-in-lexical-analysis
https://en.wikipedia.org/wiki/Lexical_analysis
https://www.geeksforgeeks.org/introduction-of-lexical-analysis/