検索結果- 英語 - 英語

検索内容:

tokenize.

tokenizes

動詞

活用形直説法現在形単数形三人称

Third-person singular simple present indicative form of tokenize

日本語の意味

「tokenizes」は「tokenize」の三人称単数の現在形であり、動詞の活用形の一つです。

このボタンはなに？

The new algorithm tokenizes user input in real time to improve response speed.

Google翻訳 / DeepL翻訳

その新しいアルゴリズムは応答速度を向上させるために、ユーザーの入力をリアルタイムでトークンに分割します。

詳細

tokenized

動詞

活用形分詞過去

simple past tense and past participle of tokenize

日本語の意味

「tokenize」の動詞の過去形および過去分詞形です。

このボタンはなに？

The text was tokenized before being fed into the neural network.

Google翻訳 / DeepL翻訳

そのテキストはニューラルネットワークに入力される前にトークンに分割された。

詳細

tokenize

IPA（発音記号）

/ˈtoʊ.kən.aɪz/

動詞

他動詞

日本語の意味

字句解析を通じて、入力されたテキストなどをトークン（基本要素）の集合に分解する処理を行うこと。 / 機密情報などの敏感なデータを意味を持たないプレースホルダに置換する処理を行うこと。

このボタンはなに？

Before parsing, the compiler will tokenize the source code into a stream of tokens for syntactic analysis.

Google翻訳 / DeepL翻訳

構文解析の前に、コンパイラはソースコードを構文解析のためにトークンの列に変換します。

詳細

tokenizer

名詞

(computing) A system that parses an input stream into its component tokens.

日本語の意味

入力ストリームを構成する各要素（トークン）に分割・解析するシステム

このボタンはなに？

The tokenizer split the source code into individual tokens, enabling the parser to build an abstract syntax tree.

Google翻訳 / DeepL翻訳

字句解析器はソースコードを個々のトークンに分割し、構文解析器が抽象構文木を構築できるようにした。

詳細

tokenizers

名詞

活用形複数形

plural of tokenizer

日本語の意味

「tokenizer」の複数形、すなわち複数のトークナイザーを指す表現です。

このボタンはなに？

Tokenizers in NLP libraries often need to be customized for different languages and use cases.

Google翻訳 / DeepL翻訳

トークナイザーの複数形は、さまざまな言語やユースケースに応じてカスタマイズが必要なことが多いNLPライブラリのツールを指します。

詳細

tokenization

名詞

可算名詞不可算名詞

The act or process of tokenizing. / Something tokenized.

日本語の意味

トークン化する行為またはプロセス、すなわち文章やデータを意味ある最小単位（トークン）に分割する処理 / トークン化されたもの（トークンに変換された結果）

このボタンはなに？

Accurate tokenization is essential for reliable text analysis.

Google翻訳 / DeepL翻訳

正確なトークン化は信頼性の高いテキスト解析に不可欠です。

詳細

tokenizations

名詞

活用形複数形

plural of tokenization

日本語の意味

トークン化、すなわちテキストやデータを個々の要素（トークン）に分解する処理の複数形

このボタンはなに？

Research on neural language models often compares different tokenizations to understand how they affect vocabulary size and downstream performance.

Google翻訳 / DeepL翻訳

ニューラル言語モデルの研究では、語彙サイズや下流の性能にどのように影響するかを理解するために、異なるトークン化手法を比較することがよくあります。

詳細

tokenizing

動詞

活用形分詞現在形

present participle of tokenize

日本語の意味

この単語は、動詞 'tokenize' の現在分詞形（現在進行形や進行中の動作を表す形）です。

このボタンはなに？

The engineer improved the model by tokenizing the dataset more precisely during preprocessing.

Google翻訳 / DeepL翻訳

エンジニアは前処理でデータセットをより正確にトークン化することでモデルを改善した。

詳細

tokened

動詞

活用形分詞過去

simple past tense and past participle of token

日本語の意味

"tokened"は、動詞 "token" の単純過去形および過去分詞形であり、日本語における意味としては特定の意味ではなく、活用形を示しています。

このボタンはなに？

The developer tokened the session keys before deploying the update.

Google翻訳 / DeepL翻訳

開発者はアップデートを展開する前にセッションキーをトークン化した。

詳細

tokening

動詞

活用形分詞現在形

present participle of token

日本語の意味

これは『token』の現在分詞形です。

このボタンはなに？

We are tokening the document to improve the search index.

Google翻訳 / DeepL翻訳

検索インデックスを改善するために、文書をトークン化しています。

詳細

Webで検索する