tokenize

IPA(Pronunciation)

Verb

transitive

Japanese Meaning

字句解析を通じて、入力されたテキストなどをトークン（基本要素）の集合に分解する処理を行うこと。 / 機密情報などの敏感なデータを意味を持たないプレースホルダに置換する処理を行うこと。

Before parsing, the compiler will tokenize the source code into a stream of tokens for syntactic analysis.

構文解析の前に、コンパイラはソースコードを構文解析のためにトークンの列に変換します。

Sense（1）

(transitive, computing) To reduce to a set of tokens by lexical analysis.

Sense（2）

(transitive, computing) To substitute sensitive data with meaningless placeholders.

Sense（3）

(transitive) To treat as a token minority.

tokenizes

（ present singular third-person ）

tokenizing

（ participle present ）

tokenized

（ participle past ）

tokenized

（ past ）