tokens,（トークン化）とは - 英語 - 英語

活用形複数形

plural of tokenization

日本語の意味

トークン化、すなわちテキストやデータを個々の要素（トークン）に分解する処理の複数形

Research on neural language models often compares different tokenizations to understand how they affect vocabulary size and downstream performance.

翻訳する

ニューラル言語モデルの研究では、語彙サイズや下流の性能にどのように影響するかを理解するために、異なるトークン化手法を比較することがよくあります。

詳細

tokenization

可算名詞不可算名詞

The act or process of tokenizing. / Something tokenized.

日本語の意味

トークン化する行為またはプロセス、すなわち文章やデータを意味ある最小単位（トークン）に分割する処理 / トークン化されたもの（トークンに変換された結果）

Accurate tokenization is essential for reliable text analysis.

翻訳する

正確なトークン化は信頼性の高いテキスト解析に不可欠です。

詳細

tokened

活用形分詞過去

simple past tense and past participle of token

日本語の意味

"tokened"は、動詞 "token" の単純過去形および過去分詞形であり、日本語における意味としては特定の意味ではなく、活用形を示しています。

The developer tokened the session keys before deploying the update.

翻訳する

開発者はアップデートを展開する前にセッションキーをトークン化した。

詳細

tokening

活用形分詞現在形

present participle of token

日本語の意味

これは『token』の現在分詞形です。

We are tokening the document to improve the search index.

翻訳する

検索インデックスを改善するために、文書をトークン化しています。

詳細

tokening

可算名詞不可算名詞

日本語の意味

印をつけること、指定する行為 / 印、しるし、証拠 / 示すもの、意味、解釈

The tokening of each specimen ensured accurate tracking throughout the study.

翻訳する

各標本への標識付けにより、研究全体の追跡が正確に行われた。

詳細

tokenings

活用形複数形

plural of tokening

日本語の意味

「tokenings」は「tokening」の複数形です。つまり、tokeningの複数の形態を示す表記です。

Several tokenings occurred during the user onboarding process, each representing a different permission set.

翻訳する

ユーザーのオンボーディングプロセス中にいくつかのトークン化の事例が発生し、それぞれが異なる権限のセットを表していました。

詳細

tokenizes

活用形直説法現在形単数形三人称

Third-person singular simple present indicative form of tokenize

日本語の意味

「tokenizes」は「tokenize」の三人称単数の現在形であり、動詞の活用形の一つです。

The new algorithm tokenizes user input in real time to improve response speed.

翻訳する

その新しいアルゴリズムは応答速度を向上させるために、ユーザーの入力をリアルタイムでトークンに分割します。

詳細

tokenizing

活用形分詞現在形

present participle of tokenize

日本語の意味

この単語は、動詞 'tokenize' の現在分詞形（現在進行形や進行中の動作を表す形）です。

The engineer improved the model by tokenizing the dataset more precisely during preprocessing.

翻訳する

エンジニアは前処理でデータセットをより正確にトークン化することでモデルを改善した。

詳細

tokenized

活用形分詞過去

simple past tense and past participle of tokenize

日本語の意味

「tokenize」の動詞の過去形および過去分詞形です。

The text was tokenized before being fed into the neural network.

翻訳する

そのテキストはニューラルネットワークに入力される前にトークンに分割された。

詳細

USB tokens

活用形複数形

plural of USB token

日本語の意味

「USB token」の複数形