tokenization

Noun

countable uncountable

The act or process of tokenizing. / Something tokenized.

Japanese Meaning

トークン化する行為またはプロセス、すなわち文章やデータを意味ある最小単位（トークン）に分割する処理 / トークン化されたもの（トークンに変換された結果）

Accurate tokenization is essential for reliable text analysis.

正確なトークン化は信頼性の高いテキスト解析に不可欠です。

Sense（1）

The act or process of tokenizing.

Sense（2）

Something tokenized.

This was an unlikely tokenization of the input string.

tokenizations

（ plural ）