token (2)
sõne
olemus
leksikaalse analüüsi puhul: tähenduslik string, mis on
määratletud klassi esindava keeleüksuse eksemplar tekstis
Wiktionary:
17. (grammar) a lexeme; a basic, grammatically indivisible unit of a language such as a keyword, operator or identifier
ülevaateid
https://www.quora.com/What-is-a-token-in-lexical-analysis
https://en.wikipedia.org/wiki/Lexical_analysis#Token
https://www.u-aizu.ac.jp/~hamada/LP/L03-LP-Handouts.pdf
https://portablesimula.github.io/github.io/doc/SimulaStandard86/chap_1.htm
https://www.cs.cmu.edu/~fp/courses/15411-f09/cmuonly/appel-ch2.pdf
vt ka
- sõnesti
- sõnestus