教師あり学習

テンプレート:Machine learning bar 教師あり学習（きょうしありがくしゅう, テンプレート:Lang-en-short）とは、機械学習の手法の一つである。

既知の「問題」テンプレート:Mvarに対する「解答」テンプレート:Mvarを「教師」が教えてくれるという方法であり、「生徒」であるアルゴリズムが未知の「問題」テンプレート:Mvarに対応する「解答」テンプレート:Mvarを推論する事から名付けられたものである。そのような訓練に用いるデータを事を教師データとも呼ぶ。

概要

教師あり学習では、未知の確率分布$p(𝐱,𝐲)$を対象に学習を行う。実応用上は何らかを入力(テンプレート:Mvar)、出力(テンプレート:Mvar)とみなせる事が多く、例えばテンプレート:Mvarはテンプレート:Mvarに未知の関数テンプレート:Mvarを施した値テンプレート:Mathに小さなノイズが載ったものである。アルゴリズムには、$p(𝐱,𝐲)$に従うテンプレート:Mvarとテンプレート:Mvarの組$({𝐱}_1,{𝐲}_1),\dots ,({𝐱}_n,{𝐲}_n)$が訓練データとして与えられる。アルゴリズムが解くべきタスクは訓練データに属していない（かもしれない）データテンプレート:Mvarに対し、条件付き確率分布$p(𝐲\mid 𝐱)$ないしそこから決まる値（たとえば$p(𝐲\mid 𝐱)$の期待値）をよく近似することである。近似の精度は事前に定められた損失関数という関数を使って評価する。したがって損失関数の値の期待値を小さくする事が、教師あり機械学習の目標であると言える。

機械学習の定義に沿って言えば、教師あり機械学習は以下のような機械学習であるといえる：

タスク	経験	性能指標
$p(𝐲\mid 𝐱)$ないしそこから決まる値をよく近似する事	訓練データ$({𝐱}_1,{𝐲}_1),\dots ,({𝐱}_n,{𝐲}_n)$	損失関数の期待値

アルゴリズム

教師あり学習では事前知識である$({𝐱}_1,{𝐲}_1),\dots ,({𝐱}_n,{𝐲}_n)$から、未知のテンプレート:Mvarに対応するテンプレート:Mvarの分布$p(𝐲\mid 𝐱)$を当てる事が求められる。このため、アルゴリズムが未知のテンプレート:Mvarから$p(𝐲\mid 𝐱)$（ないしそこから決まる値）を求める操作を汎化もしくは推論（inference）と呼ぶ。タスクによっては「予測」「判断」「認識」等と呼ばれる事もある。

アルゴリズムは未知のデータテンプレート:Mvarからテンプレート:Mvarに対応するテンプレート:Mvarの分布の情報を推測する必要があるが、この推論の為に事前知識として与えられる訓練データにはテンプレート:Mvarから推論しなければならないテンプレート:Mvarが「解答」としてついている。

訓練フェーズと汎化フェーズ

多くの教師あり機械学習のモデルでは、実際の汎化を行う前に訓練もしくは学習と呼ばれる作業が発生し、機械学習のモデルは「訓練アルゴリズム」と「汎化アルゴリズム」のペアとして捉える事ができる。訓練アルゴリズムは訓練データを入力として受け取り、パラメータと呼ばれる値テンプレート:Mvarを出力する。パラメータは直観的には訓練データから有用な情報を引き出した「学習結果」であり、汎化の際にはこの「学習結果」であるテンプレート:Mvarを使って汎化を行う。すなわち、汎化アルゴリズムは入力テンプレート:Mvarの他にパラメータテンプレート:Mvarをも入力として受け取り、$p(𝐲\mid 𝐱)$（ないしそこから決まる値）を求める。

変数の名称

教師あり機械学習において、変数テンプレート:Mvarを説明変数(explanation variable)、テンプレート:Mvarを目的変数、目標変数(target variable)、もしくは標的(target)と呼ぶ。これらは別の名称で呼ばれる事も多く、テンプレート:Mvarを予測変数(predictor)、テンプレート:Mvarを応答変数（response variable）と呼んだり、テンプレート:Mvarを独立変数（independent variable）、テンプレート:Mvarを従属変数(dependent variable)と呼んだりする事もある。またタスクによってはこれら以外の名称で呼ばれる事もある。

タスク

教師あり学習に属する代表的なタスクとして回帰と分類がある。教師あり学習において、目的変数テンプレート:Mvarが量的変数である場合を回帰(regression)、有限集合に値を取るカテゴリ型変数のである場合を分類(classification)もしくは判別と呼ぶ。

典型的な訓練データ（例題）はベクトル（問題）${𝐱}_i$ とラベル（回答）$y_i$の組として、$({𝐱}_1,y_1),({𝐱}_2,y_2),...$ のように与えられる。ここで、$({𝐱}_i,y_i)$は$i$ 番目のデータを表し、$y_i$ は0または1の2値を取るのラベルで、${𝐱}_i$ はベクトルを表す。

典型的な訓練データは分類問題では$y_i$ が離散値を、回帰問題では実数値を取る。

これらのデータに何らかの基準でもっとも合う関数関係 $y=f(x)$ を求める「学習」によって求められることで、未知のデータ $𝐱$ にに対して、予言 $y=f(𝐱)$ を得ることができる。$y=f(x)$を分類問題であれば分類器、回帰問題であれば回帰曲線などと称する。

回帰

回帰の目標は入力テンプレート:Mvarが与えられたとき、$p(𝐲\mid 𝐱)$に関する情報を予想する事である。典型的には $$𝐲=F(𝐱)+\mathit{\epsilon }$$

のようにテンプレート:Mvarが未知の関数テンプレート:Mvarの像テンプレート:Mathにランダムなノイズテンプレート:Mvarを加えたデータであるケースにおいて、入力テンプレート:Mvarからテンプレート:Mvarの可能な限り正確な予想値$\widehat{𝐲}$を出力する事が求められる。なお回帰で扱う目的変数テンプレート:Mvarは連続量であり、典型的には実数を複数並べた数値ベクトルである。

他の教師あり機械学習アルゴリズムと同様、回帰アルゴリズムは$p(𝐱,𝐲)$に従って選ばれた訓練データの集合$D=\{({𝐱}_1,{𝐲}_1),\dots ,({𝐱}_n,{𝐲}_n)\}$をとして受け取る事ができ、これらの訓練データをヒントにして入力テンプレート:Mvarに対応するテンプレート:Mvarの予想値 $$\widehat{𝐲}={\hat{F}}_D(𝐱)$$

を出力する。予想の正確さは損失関数$L(\widehat{𝐲},𝐲)$によって測られる。回帰では損失関数$L(\widehat{𝐲},𝐲)$としては自乗誤差損失 $$L(\widehat{𝐲},𝐲)=||\widehat{𝐲}-𝐲|{|}^2$$

を用いる事が多い。

回帰の目標は、汎化誤差（予測誤差、予測損失とも） $$E[L(\widehat{𝐲}(𝐱),𝐲)]=\iint L(\widehat{𝐲}(𝐱),𝐲)p(𝐱,𝐲)\mathrm{d}𝐱\mathrm{d}𝐲$$

を小さく抑える事である。ここで$\widehat{𝐲}(𝐱)=M(𝐱,\theta )$は汎化アルゴリズムの出力であり、テンプレート:Mathは期待値を表す。

分類

分類タスクでは、事前に定められた有限個のクラスが定められていて、各クラスには、「ネコ」、「イヌ」などのクラスラベル（もしくは単にラベル）と呼ばれるクラス名が割り振られている。分類タスクの目的は与えられた入力テンプレート:Mvarがのいずれに属するかを当てる事である。

分類タスクを解くアルゴリズムには大まかに「決定論的アプローチ」と「確率論的アプローチ」の２種類があり、前者は分類タスクでは入力テンプレート:Mvarが与えられたとき、テンプレート:Mvarが属すると思われるクラスラベルを出力するというものであり、損失関数としては典型的には0-1損失 $$L(\hat{y},y)=\{\begin{array}{cc}1& \text{if }\hat{y}\ne y\\ 0& \text{otherwise}\end{array}$$

を使う。

一方、後者はクラスラベルを直接出力するのではなく、確信度（confidence score）$\widehat{y_1},\dots ,\widehat{y_k}$を出力するというものである。ここで$\widehat{y_j}$はテンプレート:Mvarがテンプレート:Mvar番目のクラスに属しているとどの程度確信しているかを表す尺度であり、$0\le \widehat{y_j}\le 1$と$\widehat{y_1}+\cdots +\widehat{y_k}=1$を満たす。

確信度を出力させる分類タスクでは、訓練データ$({𝐱}_i,{𝐲}_i)$のテンプレート:Mvarも確信度と整合性が取れるように符号化する。すなわち、テンプレート:Mvarがテンプレート:Mvar番目のクラスに属している場合、${𝐲}_i={𝐞}_j$とする。ここでテンプレート:Mvarはテンプレート:Mvar番目の成分が1でそれ以外の成分が0のベクトルである（このように1つの成分だけが1でそれ以外は0となるベクトルをone-hotベクトルとい、one-hotベクトルによりデータを表現する事をone-hot表現 という）。損失関数としては典型的には交差エントロピー $$L(\widehat{𝐲},𝐲)=-\sum _k{y}_k\log \widehat{y_k}$$

を使う。

回帰と分類の関係性

確信度を使った分類タスクに対するアルゴリズムを設計する典型的な手法は、回帰タスクのアルゴリズムを流用するというものである。すなわちクラスをone-hotベクトルで符号化した訓練データ$({𝐱}_1,{𝐲}_1),\dots ,({𝐱}_n,{𝐲}_n)$を使って回帰タスクのアルゴリズムを訓練し、訓練結果のアルゴリズムを分類タスクに利用するという手法である。ただし、回帰タスク出力$\widehat{𝐮}=(\widehat{u_1},\dots ,\widehat{u_k})$は、分類タスクの出力である確信度と違い、$0\le \widehat{u_j}\le 1$と$\widehat{u_1}+\cdots +\widehat{u_k}=1$という条件を満たさないという問題が起こる。そこで一旦ソフトマックス変換 $$\mathrm{s}\mathrm{o}\mathrm{f}\mathrm{t}\mathrm{m}\mathrm{a}\mathrm{x}:{ℝ}^k\to [0,1{]}^k,(u_1,\dots ,u_k)\mapsto \frac{1}{\sum _{j=1}^k{e}^{u_j}}(e^{u_1},\dots ,e^{u_k})$$

をかける事でこの問題を解決する。

逆に確信度を使った分類タスクを回帰タスクに流用する事もでき、この場合は上と同様の理由でソフトマックス変換の逆変換をかける必要がある。

バイアスと分散のトレードオフ

テンプレート:Main 回帰では、入力テンプレート:Mvarに対応するテンプレート:Mvarの予測値$\widehat{𝐲}={\hat{F}}_D(𝐱)$を出力する事を求められ、$\widehat{𝐲}$はテンプレート:Mvarの期待値に近いことが望ましく、しかも$\widehat{𝐲}$のばらつきは小さい方が望ましい。しかし下記に示すようにこの２つの要件はトレードオフの関係にある：

テンプレート:Math proof上では回帰の場合について述べたが、確信度を出力する分類でも同様である。

ベイズ規則

テンプレート:Mvar、テンプレート:Mathをそれぞれ回帰や分類といった教師あり学習のタスクに対する損失関数、データ分布とし、関数テンプレート:Mvarに関する予測損失を$R_L(F)=E_{(x,y)\sim p}[L(F(x),y)]$と書き表す。このとき、予測損失の下限 $$\underset{F}{\mathrm{i}\mathrm{n}\mathrm{f}}{R}_L(F)$$ を損失関数テンプレート:Mvarのもとでのベイズ誤差(Bayes error)と呼び、下限を達成するテンプレート:Mvarをベイズ規則(Bayes rule)という。ここで$\underset{F}{\mathrm{i}\mathrm{n}\mathrm{f}}$は可測関数全体の集合における下限である。

ベイズ規則は理論上の最良の予測関数であるが、実際には確率分布テンプレート:Mathが未知なので、テンプレート:Mathに関する予測損失$R_L(F)=E_{(x,y)\sim p}[L(F(x),y)]$を計算できず、ベイズ規則を求める事ができない。このため教師あり学習では既知のデータ$({𝐱}_1,{𝐲}_1),\dots ,({𝐱}_n,{𝐲}_n)$から可能な限りベイズ規則に近い値を出力するアルゴリズムを探索する事が求められる。

回帰

自乗損失を損失関数として選んだ場合、次の定理が成り立つ：テンプレート:Math theorem テンプレート:Math proof 関数$f(𝐱)=E[𝐲|𝐱]$を回帰関数と呼ぶ事もある。

分類

テンプレート:節stub （確信度ではなくクラスを直接出力するタイプの）分類タスクにおいて、0-1損失関するベイズ規則は以下のようになる：

半教師あり学習

半教師あり学習の一種は部分のデータがラベルを付き、部分のデータがラベルを付かないこと。他の状況は、学習の目標はデータのラベルよりも多い場合。例えば、画像のボックスのラベルだけで、分割の役割を果たすこと。

参考文献

• テンプレート:Cite book
  • テンプレート:Cite web同書原著のweb版
• テンプレート:Cite book
  • テンプレート:Cite web：上述の書籍の英語版公式サイト。無料pdfあり。
• テンプレート:Cite book
• テンプレート:Cite book

テンプレート:Refend

関連項目

• バックプロパゲーション
• サポートベクターマシン
• ID3
• 単純ベイズ分類器
• 過剰適合
• 事例ベース推論
• ブースティング
• 教師なし学習