（解説あり）（ア）に最もよくあてはまる選択肢を 1 つ選べ.

ディープニューラルネットワーク（DNN）の普及に貢献した一つの要素に,（ア）を克服する手法が提案されたことがある.（ア）は誤差逆伝播法において,（イ）ことによって生じるとされている.（ア）に対処するための方法として,あらかじめ良い重みの初期値を計算する（ウ）や,活性化関数に（エ）を利用する方法などがある.

（ウ）に最もよくあてはまる選択肢を 1 つ選べ.

画像の認識では,主に入力から出力に向かう結合のみを持つ階層的なニューラルネットワーク,特に画像などの信号に内在する局所的な特徴が集まって,より大域的な特徴を構成するという構造を反映した,（ア）がよく用いられる.一方,自然言語テキストや動画に代表される構造を持った系列情報を扱うために（イ）が用いられている.特に現代人工知能（AI）の父として知られているユルゲン・シュミットフーバーとケプラー大学のゼップ・ホフレイターの提案した（ウ）は必要な文脈情報の長さを適応的に制御することで,時間を遡る誤差逆伝播の可能性を向上させ,画像からの説明文の生成や機械翻訳など,多くの課題に適用されている.実際,2016 年秋に,google 社は google 翻訳に（ウ）を取り入れてアップデートし,非常に高精度な翻訳を提供することが可能になった.

（解説あり）（ウ）に最もよくあてはまる選択肢を 1 つ選べ.

機械学習においては過学習を避けるために,訓練誤差ではなく汎化誤差を可能なかぎり小さくする手法である（ア）を用いることが多い.また複数のモデルの予測結果の平均を利用する（イ）がある.他にもディープニューラルネットワーク（DNN）に対しては,ランダムに一定の割合のノードを削除して学習を行う（ウ）が有効とされている.（ア）手法にはいくつかのパラメータをスパースにする（エ）などがある.

（イ）に最もよくあてはまる選択肢を 1 つ選べ.

ディープニューラルネットワーク（DNN）の学習の目的は（ア）を最小化することであり,この最適化のために勾配降下法が利用される.しかし,勾配降下法にはパラメータの勾配を数値的に求めると（イ）問題があり,このような問題を避けるために誤差逆伝播法が利用される.またディープラーニングには過学習の問題もある.過学習とは（ウ）は小さいにも関わらず,（エ）が小さくならないことであり,これらの問題を克服するために様々な手法の開発が進められている.

（ウ）に最もよくあてはまる選択肢を 1 つ選べ.

自己符号化器はニューラルネットワークによる（ア）の代表的な応用であり,出力が入力に近づくようにニューラルネットを学習させる.主に（イ）のために利用されることが多く,活性化関数に恒等写像を用いた場合の 3 層の自己符号化器は（ウ）と同様の結果を返す.自己符号化器を多層化すると,ディープニューラルネット同様に勾配消失問題が生じるため,複雑な内部表現を得ることは困難であった.この問題に対して 2006 年頃に（エ）らは,単層の自己符号化器に分割し入力層から繰り返し学習させる（オ）を積層自己符号化器に適用することで,汎用的な自己符号化器の利用を可能とした.また,自己符号化器の代表的な応用例として（カ）がある.

（解説あり）以下の文章をよく読み,末尾の設問に答えよ.

AI の社会実装を進めていくにあたり,AI がもたらす倫理的リスクを事前に考慮しておく必要性が近年強く叫ばれている.各国政府はそれに対応すべく様々な取り組みを行っている. 米国政府の例を取ると,米国政府は 2016 年 10 月に PREPARING FOR THE FUTURE OF ARTIFICIAL INTELLIGENCE を発行し,続けさまに同年 THE NATIONAL ARTIFICIAL INTELLIGENCE RESEARCH and DEVELOPMENT STRATEGIC PLAN ,そして 2016 年 12 月に発行した ARTIFICIAL INTELLIGENCE AUTOMATION, AND THE ECONOMY などで,これから表面化するであろうリスクへの対応策を事前に協議している.

このうち,PREPARING FOR THE FUTURE OF ARTIFICIAL INTELLIGENCE で協議された内容として最も適切なものを 1 つ選べ.

（解説あり）（エ）に最もよくあてはまる選択肢を 1 つ選べ.

ディープニューラルネットワーク（DNN）の普及に貢献した一つの要素に,（ア）を克服する手法が提案されたことがある.（ア）は誤差逆伝播法において,（イ）ことによって生じるとされている.（ア）に対処するための方法として,あらかじめ良い重みの初期値を計算する（ウ）や,活性化関数に（エ）を利用する方法などがある.

（ア）に最もよくあてはまる選択肢を 1 つ選べ.

自己符号化器はニューラルネットワークによる（ア）の代表的な応用であり,出力が入力に近づくようにニューラルネットを学習させる.主に（イ）のために利用されることが多く,活性化関数に恒等写像を用いた場合の 3 層の自己符号化器は（ウ）と同様の結果を返す.自己符号化器を多層化すると,ディープニューラルネット同様に勾配消失問題が生じるため,複雑な内部表現を得ることは困難であった.この問題に対して 2006 年頃に（エ）らは,単層の自己符号化器に分割し入力層から繰り返し学習させる（オ）を積層自己符号化器に適用することで,汎用的な自己符号化器の利用を可能とした.また,自己符号化器の代表的な応用例として（カ）がある.

（ア）に最もよくあてはまる選択肢を 1 つ選べ.

ディープラーニングを含めて機械学習において精度の高い学習をするためには,観測データの適切な前処理が必須である.異なるスケールの特徴量を同時に扱えるようにするために,平均を 0 に分散を 1 に規格化する（ア）や,特徴量の線形結合からデータ内の分散が大きくなるような特徴量を得る（イ）などは広く利用されている.また,画像処理の分野においては,減算正規化と除算正規化の処理を行う（ウ）などが前処理として利用され,（エ）などの画像処理に特化したライブラリで行うことができる.また,自然言語処理の分野においては,文章に単語が含まれているかどうかを考えてテキストデータを数値化する（オ）や文章に含まれる単語の重要度を特徴量とする（カ）などがある.

（キ）に最もよくあてはまる選択肢を 1 つ選べ.

線形モデルとは,（ア）を含む項の線形結合で,（ア）を含んだ数式の出力値は（イ）と呼ばれる.この線形結合で,特に（ア）も（イ）も一次元のデータの場合は,y = b0 + b1 * x と表される.こういったモデルを単回帰モデルと呼んだりもする.この数式において,各項の係数（例えば b0, b1）を（ウ）と呼び,このモデルを用いてテストデータを学習し,測定した実データを推定する.注意点として,（イ）が連続の値を取り扱う場合（エ）と呼ばれるが,離散の値を取り扱われる場合は（オ）と呼ばれ,それぞれ名称が異なる.ただ,実際のデータを扱うときに,（ア）が 1 次元であることはほとんどなく,2 次元以上になることが一般的である.このような場合,（ア）の次元数分だけ,係数パラメータを増やして,モデルを拡張する必要がある.このように（ア）が 2 つ以上の場合を（カ）モデルと呼び,各項の係数パラメータを（キ）という.またモデルによって出力された値と実際の測定値の誤差を（ク）という.この（ク）を用いて係数パラメータを推定する代表的なアルゴリズムに最小二乗法と最尤推定法がある.