tokenization

名詞

可算名詞不可算名詞

The act or process of tokenizing. / Something tokenized.

日本語の意味

トークン化する行為またはプロセス、すなわち文章やデータを意味ある最小単位（トークン）に分割する処理 / トークン化されたもの（トークンに変換された結果）

Accurate tokenization is essential for reliable text analysis.

正確なトークン化は信頼性の高いテキスト解析に不可欠です。

意味（1）

The act or process of tokenizing.

意味（2）

Something tokenized.

This was an unlikely tokenization of the input string.

tokenizations

（ plural ）