Last Updated：2025/11/23
(transitive, computing) To reduce to a set of tokens by lexical analysis. / (transitive, computing) To substitute sensitive data with meaningless placeholders.
音声機能が動作しない場合はこちらをご確認ください
See correct answer
tokenize
Edit Histories（0）
Source Word
tokenize
IPA(Pronunciation)
Verb
transitive
Japanese Meaning
字句解析を通じて、入力されたテキストなどをトークン（基本要素）の集合に分解する処理を行うこと。 / 機密情報などの敏感なデータを意味を持たないプレースホルダに置換する処理を行うこと。
（ present singular third-person ）
（ participle present ）
（ participle past ）
（ past ）
