tokenizer

名詞

(computing) A system that parses an input stream into its component tokens.

日本語の意味

入力ストリームを構成する各要素（トークン）に分割・解析するシステム

The tokenizer split the source code into individual tokens, enabling the parser to build an abstract syntax tree.

字句解析器はソースコードを個々のトークンに分割し、構文解析器が抽象構文木を構築できるようにした。

意味（1）

(computing) A system that parses an input stream into its component tokens.

tokenizers

（ plural ）