tokenizer
sõnesti

olemus
funktsionaalüksus, mis liigendab teksti sõnedeks
= a functional unit that breaks a text down into tokens

näiteid
https://docs.oracle.com/javase/7/docs/api/java/util/StringTokenizer.html
https://pypi.org/project/tokenizer/
https://ceur-ws.org/Vol-2226/paper9.pdf