token (2)
sõne
olemus
leksikaalse analüüsi puhul:
tähenduslik string,
määratletud klassi esindava keeleüksuse eksemplar tekstis
Wiktionary:
17. (grammar) a lexeme; a basic, grammatically indivisible unit of a language such as a keyword, operator or identifier
ülevaateid
https://en.wikipedia.org/wiki/Lexical_analysis#Token
http://www.cs.ucf.edu/~wocjan/Teaching/2016_Fall/cop3402/1_lectures/05_lecture_lexical_analysis.pdf
http://underpop.online.fr/j/java/help/lexical-tokens-compiler-java-programming-language.html.gz
https://www.u-aizu.ac.jp/~hamada/LP/L03-LP-Handouts.pdf
vt ka
- sõnesti
- sõnestus