English Dictionary

tokenize

IPA（発音記号）

/ˈtoʊ.kən.aɪz/

動詞

他動詞

(transitive, computing) To reduce to a set of tokens by lexical analysis. / (transitive, computing) To substitute sensitive data with meaningless placeholders.

日本語の意味

字句解析を通じて、入力されたテキストなどをトークン（基本要素）の集合に分解する処理を行うこと。 / 機密情報などの敏感なデータを意味を持たないプレースホルダに置換する処理を行うこと。

Before parsing, the compiler will tokenize the source code into a stream of tokens for syntactic analysis.

構文解析の前に、コンパイラはソースコードを構文解析のためにトークンの列に変換します。

意味（1）

(transitive, computing) To reduce to a set of tokens by lexical analysis.

意味（2）

(transitive, computing) To substitute sensitive data with meaningless placeholders.

意味（3）

(transitive) To treat as a token minority.

tokenizes （ present singular third-person ）

tokenizing （ participle present ）

tokenized （ participle past ）

tokenized （ past ）