G検定模擬試験set1
（イ）に最もよくあてはまる選択肢を 1 つ選べ.
ニューラルネットワークで用いられる活性化関数について扱う.出力層の活性化関数には,回帰では（ア）が,多クラス分類では（イ）が一般的に利用されてきた.また中間層の活性化関数として,従来は（ウ）などが一般的に利用されてきた.しかし,これらの活性化関数を利用すると勾配消失問題が起きやすいという問題があったため,近年は,入力が 0 を超えていれば入力をそのまま出力に渡し,0 未満であれば出力を 0 とする（エ）や複数の線形関数の中での最大値を利用する（オ）などが利用されている.
（イ）に最もよくあてはまる選択肢を 1 つ選べ.
ディープラーニングの実験に用いられるデータセットについて扱う.（ア）はアメリカの国立標準技術研究所によって提供されている手書き数字のデータベースである.また,スタンフォード大学がインターネット上から画像を集めて分類したデータセットである（イ）は,約 1400 万枚の自然画像を有しており,画像認識の様々なタスクに利用される.
（解説あり）（イ）に最もよくあてはまる選択肢を 1 つ選べ.
ディープラーニングの学習の目的は,損失関数の値をできるだけ小さくするパラメータを見つけることである.このような問題を解くことを（ア）という.このパラメータを見つけるアルゴリズムとして有名なのは（イ） である.ただ,（イ）は対象の関数の形がある分布や方向に依存すると非効率な経路でパラメータを探索してしまい,学習に時間がかかってしまうというデメリットがある.そこで,現在では（イ）の欠点を改善するために（ウ） などのアルゴリズムが使用されている.
（ア）に当てはまらない選択肢を 1 つ選べ.
ディープニューラルネットワーク（DNN）のパラメータ最適化手法として（ア）などの勾配降下法が適用される.しかし,勾配降下法には（イ）などの問題があり,これらの問題に対処するために,学習率をパラメータに適応させることで自動的に学習率を調整することができる（ウ）や勾配の平均と分散をオンラインで推定し利用する（エ）が利用されてきた.
2012 年に開催された一般物体認識のコンテスト ILSVRC（ImageNet Large Scale Visual Recognition Challenge）において,深い構造を持つ CNN が,従来手法の分類性能を大幅に上回って以来,ディープラーニングが画像認識に盛んに用いられるようになった.ディープラーニングの画像認識への応用先として正しい組み合わせを選択肢から 1 つ選べ.
（イ）に最もよくあてはまる選択肢を 1 つ選べ.
大きなニューラルネットワークなどの入出力をより小さなネットワークに学習させる技術として,（ア）がある.（ア）とは,すでに学習されているモデル（教師モデル）を利用して,より小さくシンプルなモデル（生徒モデル）を学習させる手法である.こうすることにより,生徒モデルを単独で学習させる場合よりも（イ）ことができる.
（ア）に最もよくあてはまる選択肢を 1 つ選べ.
画像生成とは,何もない状態,もしくはある入力値に応じて目標の画像を生成する技術である.今最も利用されている画像生成手法は,GAN という生成敵対ネットワークである.特に,あるランダムな数値の入力値をもとに画像生成を行う DC（ア）やある文章から画像を生成する Attention（ア）などが有名である.このネットワークは（イ）と（ウ）から構成されており,（イ）は（エ）を騙すような画像を出力し,（ウ）は（イ）から出力された画像と本物の画像とを分類するようにそれぞれ学習する.このように学習することで,（イ）は適切な画像を出力することが可能となる.
（イ）に最もよくあてはまる選択肢を 1 つ選べ.
生成モデル（generative model）とは,訓練データからそのデータの特徴を学習し,類似したデータを生成することができるモデルである.ディープニューラルネットの生成モデル（generative model）の例として,自己符号化器の潜在変数に確率分布を導入した（ア）や,訓練データと生成器が生成したデータを識別器で判別させることによって学習を進める（イ）がある.
