（解説あり）（ア）に最もよくあてはまる選択肢を 1 つ選べ.

大規模なディープニューラルネットワーク（DNN）の学習では学習するべきパラメータ数が膨大となるため,処理の高速化が必要となる.2012 年に提案された分散並列技術である（ア）や画像処理に特化したプロセッサの（イ）は大規模なニューラルネットワークの学習を実現するために利用されてきた.また,大規模なニューラルネットワークの学習が困難となる原因の一つとして,ある層の入力がそれより下層の学習が進むにつれて変化する（ウ）がある.（ウ）を防ぐために出力値の分布の偏りを抑制する（エ）が 2015 年に提案されている.

（ア）に最もよくあてはまる選択肢を 1 つ選べ.

自己符号化器（Autoencoder）は,出力が入力と同じものに近づくことを目指して学習する.（ア）のアルゴリズムであり,（イ）が可能になる.このときの（ウ）が入力の特徴を抽出した表現となる.

（ア）に最もよくあてはまる選択肢を 1 つ選べ.

機械が試行錯誤することで,取るべき最善の行動を決定する問題を扱うことができる学習方法を（ア）という.（ア）はボードゲームや自動運転,またロボットの歩行動作などに活用されている.代表的なアルゴリズムに （イ）があげられる.（ア）の課題として,主に（ウ）や（エ）などが挙げられる.理論的には無限に学習するが,実世界では全てが限られている.ロボットの場合,無限の試行を繰り返すことができず,損耗し,実験の続行が困難になる.そこで人間側がタスクを上手く切り分けてやさしいタスクからの学習をすることが期待される.また（エ）に関して,例として,2 体のロボット同士で学習を開始させようとすると,お互いに初期状態であるタスクについての何も知識がない状態だと,学習過程の不安定化が見られる.現在はこれに対応するために逆強化学習やディープラーニングの技術を適用した（オ）などが適用され始めている.

（イ）に最もよくあてはまる選択肢を 1 つ選べ.

機械学習の種類を大きく分類すると教師あり学習,教師なし学習,強化学習がある.ニューラルネットワークにもそれらに対応するものがある.例えば,教師あり学習には（ア）,教師なし学習には（イ）,強化学習には（ウ）などがある.

（ア）に最もよくあてはまる選択肢を 1 つ選べ.

ニューラルネットワークの学習には独自の問題が生じる.層を深くするほど,入力層に近い層で学習が行われにくくなる（ア）問題が起こったり,パラメータがつくる空間が高次元になり,その空間内の局所最適解や（イ）にトラップされることが多くなる.

（解説あり）（エ）に最もよくあてはまる選択肢を 1 つ選べ.

大規模なディープニューラルネットワーク（DNN）の学習では学習するべきパラメータ数が膨大となるため,処理の高速化が必要となる.2012 年に提案された分散並列技術である（ア）や画像処理に特化したプロセッサの（イ）は大規模なニューラルネットワークの学習を実現するために利用されてきた.また,大規模なニューラルネットワークの学習が困難となる原因の一つとして,ある層の入力がそれより下層の学習が進むにつれて変化する（ウ）がある.（ウ）を防ぐために出力値の分布の偏りを抑制する（エ）が 2015 年に提案されている.

（解説あり）（イ）に最もよくあてはまる選択肢を 1 つ選べ.

学習率の値は学習の進み方に大きな影響を与える.例えば,学習率が過度に（ア）とコスト関数の高い局所的最適解から抜け出せなくなることがある.また,大域的最適解に向かって収束している場合でも,学習率が（イ）と,収束は速いがコスト関数の最終的な値が高く,逆に（ウ）と収束は遅いが最終的にはより最適解に近いパラメータになるため,コスト関数は小さな値に収束する.

（ウ）に最もよくあてはまる選択肢を 1 つ選べ.

自己符号化器（Autoencoder）は,出力が入力と同じものに近づくことを目指して学習する.（ア）のアルゴリズムであり,（イ）が可能になる.このときの（ウ）が入力の特徴を抽出した表現となる.

RNN についての説明として誤っている選択肢を1 つ選べ.

（ア）に最もよくあてはまる選択肢を 1 つ選べ.

クラス分類の領域では,CNN という沢山の層を重ねて,深い階層構造をした手法によって研究が進められていて,従来の手法よりも精度の高い認識や分類が可能となった.しかし,沢山の層を重ねた結果,学習に用いられるパラメータの数が膨大となり,学習が上手く進まないという問題が生じていた.その問題を解決するために提案されたのが（ア）である.（ア）は,入力層から出力層まで伝播する値と入力層の値を足し合わせたモデルで,この方法によって,入力層まで,勾配値がきちんと伝わり,今では 1000 層といったかなり深い構造でも学習が可能となった.実際,2015 年の ILSVRC で（ア）は人間の成績を上回る成果をあげている