tokenize

IPA（発音記号）

動詞

他動詞

日本語の意味

字句解析を通じて、入力されたテキストなどをトークン（基本要素）の集合に分解する処理を行うこと。 / 機密情報などの敏感なデータを意味を持たないプレースホルダに置換する処理を行うこと。

Before parsing, the compiler will tokenize the source code into a stream of tokens for syntactic analysis.

構文解析の前に、コンパイラはソースコードを構文解析のためにトークンの列に変換します。

意味（1）

(transitive, computing) To reduce to a set of tokens by lexical analysis.

意味（2）

(transitive, computing) To substitute sensitive data with meaningless placeholders.

意味（3）

(transitive) To treat as a token minority.

tokenizes

（ present singular third-person ）

tokenizing

（ participle present ）

tokenized

（ participle past ）

tokenized

（ past ）