最小二乗法の説明として誤った選択肢を 1 つ選べ

ニューラルネットワークの学習には勾配降下法が用いられる.勾配降下法の手順を適切な順番に並べ替えたとき,2番目になるのはどれか.

A．重みとバイアスを初期化する. B．誤差を減らすように重み（バイアス）を修正する. C．最適な重みやバイアスになるまで繰り返す. D．ネットワークの出力と正解ラベルとの誤差を計算する. E．データ（ミニバッチ）をネットワークに入力し出力を得る.

（ウ）に最もよくあてはまる選択肢を 1 つ選べ.

ニューラルネットワークの学習は,損失関数（コスト関数）の最適化により行われる.そして,その損失関数は学習の目的に応じて決定する.よく使われる損失関数として,回帰問題には（ア）,分類問題には（イ）がある.また分布を直接学習する際には（ウ）が用いられることもある.さらに,損失関数にパラメータの二乗ノルムを加えると（エ）となる.

（イ）に最もよくあてはまる選択肢を 1 つ選べ.

ディープラーニングの技術を利用したシステムを開発する際,複雑な処理が比較的簡潔に記述できることから,既存のフレームワークを利用することも多い.ディープラーニングのフレームワークは複数あり,google 社提供の（ア）や（ア）のラッパーとして機能する（イ）,国内企業である PreferredNetworks 社で開発された（ウ）などがある.また,（エ）は（ウ）と同じ Define-by-Run 方式を採用している.

（オ）に最もよくあてはまる選択肢を 1 つ選べ.

自己符号化器はニューラルネットワークによる（ア）の代表的な応用であり,出力が入力に近づくようにニューラルネットを学習させる.主に（イ）のために利用されることが多く,活性化関数に恒等写像を用いた場合の 3 層の自己符号化器は（ウ）と同様の結果を返す.自己符号化器を多層化すると,ディープニューラルネット同様に勾配消失問題が生じるため,複雑な内部表現を得ることは困難であった.この問題に対して 2006 年頃に（エ）らは,単層の自己符号化器に分割し入力層から繰り返し学習させる（オ）を積層自己符号化器に適用することで,汎用的な自己符号化器の利用を可能とした.また,自己符号化器の代表的な応用例として（カ）がある.

（ウ）に最もよくあてはまる選択肢を 1 つ選べ.

画像生成とは,何もない状態,もしくはある入力値に応じて目標の画像を生成する技術である.今最も利用されている画像生成手法は,GAN という生成敵対ネットワークである.特に,あるランダムな数値の入力値をもとに画像生成を行う DC（ア）やある文章から画像を生成する Attention（ア）などが有名である.このネットワークは（イ）と（ウ）から構成されており,（イ）は（エ）を騙すような画像を出力し,（ウ）は（イ）から出力された画像と本物の画像とを分類するようにそれぞれ学習する.このように学習することで,（イ）は適切な画像を出力することが可能となる.

（ア）に最もよくあてはまる選択肢を 1 つ選べ.

畳み込みニューラルネットワークの手法について扱う.（ア）は 1998 年に提案された,現在広く使われている CNN の元となるモデルであり,初めて多層 CNN に誤差逆伝播法を適用した手法である.2012 年に提案された（イ）は,画像認識のコンペティション ILSVRC で他手法に圧倒的な差をつけて優勝し,画像認識におけるディープラーニング活用の火付け役となった.しかし,一般に CNN は層を深くすると,パラメータ数が膨大となり学習が困難になってしまう傾向があった.層が深くなってもうまく学習を行うことができるモデルとして,ILSVRC2015 において多くの部門でトップの成績を収めた（ウ）がある.（ウ）は出力を入力と入力からの差分の和で表現したニューラルネットワークモデルである.

（イ）に最もよくあてはまる選択肢を 1 つ選べ.

畳み込みニューラルネットワークの手法について扱う.（ア）は 1998 年に提案された,現在広く使われている CNN の元となるモデルであり,初めて多層 CNN に誤差逆伝播法を適用した手法である.2012 年に提案された（イ）は,画像認識のコンペティション ILSVRC で他手法に圧倒的な差をつけて優勝し,画像認識におけるディープラーニング活用の火付け役となった.しかし,一般に CNN は層を深くすると,パラメータ数が膨大となり学習が困難になってしまう傾向があった.層が深くなってもうまく学習を行うことができるモデルとして,ILSVRC2015 において多くの部門でトップの成績を収めた（ウ）がある.（ウ）は出力を入力と入力からの差分の和で表現したニューラルネットワークモデルである.

（ウ）に最もよくあてはまる選択肢を 1 つ選べ.

線形モデルとは,（ア）を含む項の線形結合で,（ア）を含んだ数式の出力値は（イ）と呼ばれる.この線形結合で,特に（ア）も（イ）も一次元のデータの場合は,y = b0 + b1 * x と表される.こういったモデルを単回帰モデルと呼んだりもする.この数式において,各項の係数（例えば b0, b1）を（ウ）と呼び,このモデルを用いてテストデータを学習し,測定した実データを推定する.注意点として,（イ）が連続の値を取り扱う場合（エ）と呼ばれるが,離散の値を取り扱われる場合は（オ）と呼ばれ,それぞれ名称が異なる.ただ,実際のデータを扱うときに,（ア）が 1 次元であることはほとんどなく,2 次元以上になることが一般的である.このような場合,（ア）の次元数分だけ,係数パラメータを増やして,モデルを拡張する必要がある.このように（ア）が 2 つ以上の場合を（カ）モデルと呼び,各項の係数パラメータを（キ）という.またモデルによって出力された値と実際の測定値の誤差を（ク）という.この（ク）を用いて係数パラメータを推定する代表的なアルゴリズムに最小二乗法と最尤推定法がある.

（カ）に最もよくあてはまる選択肢を 1 つ選べ.

線形モデルとは,（ア）を含む項の線形結合で,（ア）を含んだ数式の出力値は（イ）と呼ばれる.この線形結合で,特に（ア）も（イ）も一次元のデータの場合は,y = b0 + b1 * x と表される.こういったモデルを単回帰モデルと呼んだりもする.この数式において,各項の係数（例えば b0, b1）を（ウ）と呼び,このモデルを用いてテストデータを学習し,測定した実データを推定する.注意点として,（イ）が連続の値を取り扱う場合（エ）と呼ばれるが,離散の値を取り扱われる場合は（オ）と呼ばれ,それぞれ名称が異なる.ただ,実際のデータを扱うときに,（ア）が 1 次元であることはほとんどなく,2 次元以上になることが一般的である.このような場合,（ア）の次元数分だけ,係数パラメータを増やして,モデルを拡張する必要がある.このように（ア）が 2 つ以上の場合を（カ）モデルと呼び,各項の係数パラメータを（キ）という.またモデルによって出力された値と実際の測定値の誤差を（ク）という.この（ク）を用いて係数パラメータを推定する代表的なアルゴリズムに最小二乗法と最尤推定法がある.