tokenizer

Noun

(computing) A system that parses an input stream into its component tokens.

Japanese Meaning

入力ストリームを構成する各要素（トークン）に分割・解析するシステム

The tokenizer split the source code into individual tokens, enabling the parser to build an abstract syntax tree.

字句解析器はソースコードを個々のトークンに分割し、構文解析器が抽象構文木を構築できるようにした。

Sense（1）

(computing) A system that parses an input stream into its component tokens.

tokenizers

（ plural ）