教師あり学習のソースを表示

{{Machine learning bar}}
'''教師あり学習'''（きょうしありがくしゅう, {{lang-en-short|Supervised learning}}）とは、[[機械学習]]の手法の一つである。

既知の「問題」{{Mvar|'''x'''{{sub|'''i'''}}}}に対する「解答」{{Mvar|'''y'''{{sub|'''i'''}}}}を「教師」が教えてくれるという方法であり、「生徒」であるアルゴリズムが未知の「問題」{{Mvar|'''x'''}}に対応する「解答」{{Mvar|'''y'''}}を推論する事から名付けられたものである。そのような訓練に用いるデータを事を'''教師データ'''とも呼ぶ。

== 概要 ==
教師あり学習では、未知の確率分布<math>p(\mathbf{x},\mathbf{y})</math>を対象に学習を行う。実応用上は何らかを'''入力'''({{Mvar|'''x'''}})、'''出力'''({{Mvar|'''y'''}})とみなせる事が多く、例えば{{Mvar|'''y'''}}は{{Mvar|'''x'''}}に未知の関数{{Mvar|F}}を施した値{{Math|''F''('''''x''''')}}に小さなノイズが載ったものである。アルゴリズムには、<math>p(\mathbf{x},\mathbf{y})</math>に従う{{Mvar|'''x'''}}と{{Mvar|'''y'''}}の組<math>(\mathbf{x}_1,\mathbf{y}_1),\ldots,(\mathbf{x}_n,\mathbf{y}_n )</math>が訓練データとして与えられる。アルゴリズムが解くべきタスクは訓練データに属していない（かもしれない）データ{{Mvar|'''x'''}}に対し、条件付き確率分布<math>p(\mathbf{y}\mid \mathbf{x})</math>ないしそこから決まる値（たとえば<math>p(\mathbf{y}\mid \mathbf{x})</math>の期待値）をよく近似することである<ref name="#GBC 5.1.3節">[[#GBC]] 5.1.3節</ref>。近似の精度は事前に定められた'''[[損失関数]]'''という関数を使って評価する。したがって損失関数の値の期待値を小さくする事が、教師あり機械学習の目標であると言える。

[[機械学習#機械学習の定義|機械学習の定義]]に沿って言えば、教師あり機械学習は以下のような機械学習であるといえる：
{| class="wikitable"
|+
!タスク
!経験
!性能指標
|-
|<math>p(\mathbf{y}\mid \mathbf{x})</math>ないしそこから決まる値をよく近似する事
|訓練データ<math>(\mathbf{x}_1,\mathbf{y}_1),\ldots,(\mathbf{x}_n,\mathbf{y}_n )</math>
|損失関数の期待値
|}

== アルゴリズム ==
教師あり学習では事前知識である<math>(\mathbf{x}_1,\mathbf{y}_1),\ldots,(\mathbf{x}_n,\mathbf{y}_n )</math>から、未知の{{Mvar|'''x'''}}に対応する{{Mvar|'''y'''}}の分布<math>p(\mathbf{y}\mid \mathbf{x})</math>を当てる事が求められる。このため、アルゴリズムが未知の{{Mvar|'''x'''}}から<math>p(\mathbf{y}\mid \mathbf{x})</math>（ないしそこから決まる値）を求める操作を'''汎化'''もしくは'''推論'''（''inference''）と呼ぶ。タスクによっては「予測」「判断」「認識」等と呼ばれる事もある。

アルゴリズムは未知のデータ{{Mvar|'''x'''}}から{{Mvar|'''x'''}}に対応する{{Mvar|'''y'''}}の分布の情報を推測する必要があるが、この推論の為に事前知識として与えられる訓練データには{{Mvar|'''x'''{{sub|'''i'''}}}}から推論しなければならない{{Mvar|'''y'''{{sub|'''i'''}}}}が「解答」としてついている。

=== 訓練フェーズと汎化フェーズ ===
多くの教師あり機械学習のモデルでは、実際の汎化を行う前に'''訓練'''もしくは'''学習'''と呼ばれる作業が発生し、機械学習のモデルは「訓練アルゴリズム」と「汎化アルゴリズム」のペアとして捉える事ができる。訓練アルゴリズムは訓練データを入力として受け取り、'''パラメータ'''と呼ばれる値{{Mvar|θ}}を出力する。パラメータは直観的には訓練データから有用な情報を引き出した「学習結果」であり、汎化の際にはこの「学習結果」である{{Mvar|θ}}を使って汎化を行う。すなわち、汎化アルゴリズムは入力{{Mvar|'''x'''}}の他にパラメータ{{Mvar|θ}}をも入力として受け取り、<math>p(\mathbf{y}\mid \mathbf{x})</math>（ないしそこから決まる値）を求める。

=== 変数の名称 ===
教師あり機械学習において、変数{{Mvar|'''x'''}}を'''説明変数'''(''explanation variable'')、{{Mvar|'''y'''}}を'''目的変数'''、'''目標変数'''(''target variable'')、もしくは'''標的'''(''target'')と呼ぶ<ref name=":0">[[#瀧]] p.20.</ref>。これらは別の名称で呼ばれる事も多く、{{Mvar|'''x'''}}を'''予測変数'''(''predictor'')、{{Mvar|'''y'''}}を'''応答変数'''（''response variable''）と呼んだり<ref name=":1" />、{{Mvar|'''x'''}}を'''独立変数'''（independent variable）、{{Mvar|'''y'''}}を'''従属変数'''(''dependent variable'')と呼んだりする事もある<ref name=":1">[[#ESL]] p11-12</ref>。またタスクによってはこれら以外の名称で呼ばれる事もある。

== タスク ==
教師あり学習に属する代表的なタスクとして回帰と分類がある。教師あり学習において、目的変数{{Mvar|'''y'''}}が量的変数である場合を[[回帰分析|'''回帰''']](''regression'')、有限集合に値を取るカテゴリ型変数のである場合を'''分類'''(''classification'')もしくは'''判別'''と呼ぶ。<ref name=":1" /><ref>[[#金森]] p.3.</ref>

典型的な[[訓練データ]]（例題）はベクトル（問題）<math>{\mathbf x}_i</math> とラベル（回答）<math>y_i</math>の組として、<math>({\mathbf x}_1, y_1), ({\mathbf x}_2, y_2), ...</math> のように与えられる。ここで、<math>({\mathbf x}_i, y_i)</math>は<math>i</math> 番目のデータを表し、<math>y_i</math> は0または1の2値を取るのラベルで、<math>{\mathbf x}_i</math> はベクトルを表す。

典型的な訓練データは分類問題では<math>y_i</math> が離散値を、回帰問題では実数値を取る。

これらのデータに何らかの基準でもっとも合う関数関係 <math>y=f(x)</math> を求める「学習」によって求められることで、未知のデータ <math>{\mathbf x}</math> にに対して、予言 <math>y = f({\mathbf x})</math> を得ることができる。<math>y=f(x)</math>を分類問題であれば分類器、回帰問題であれば回帰曲線などと称する。

=== 回帰 ===
回帰の目標は入力{{Mvar|'''x'''}}が与えられたとき、<math>p(\mathbf{y}\mid \mathbf{x})</math>に関する情報を予想する事である。典型的には
<math display="block">\mathbf{y}=F(\mathbf{x})+\mathbf{\varepsilon}</math>

のように{{Mvar|'''y'''}}が未知の関数{{Mvar|F}}の像{{Math|''F''(''x'')}}にランダムなノイズ{{Mvar|ε}}を加えたデータであるケースにおいて、入力{{Mvar|'''x'''}}から{{Mvar|'''y'''}}の可能な限り正確な予想値<math>\hat{\mathbf{y}}</math>を出力する事が求められる。なお回帰で扱う目的変数{{Mvar|'''y'''}}は連続量であり、典型的には実数を複数並べた数値ベクトルである。

他の教師あり機械学習アルゴリズムと同様、回帰アルゴリズムは<math>p(\mathbf{x},\mathbf{y})</math>に従って選ばれた訓練データの集合<math>D=\{(\mathbf{x}_1,\mathbf{y}_1),\ldots,(\mathbf{x}_n,\mathbf{y}_n )\}</math>をとして受け取る事ができ、これらの訓練データをヒントにして入力{{Mvar|'''x'''}}に対応する{{Mvar|'''y'''}}の予想値
<math display="block">\hat{\mathbf{y}}=\hat{F}_D(\mathbf{x})</math>

を出力する。予想の正確さは損失関数<math>L(\hat{\mathbf{y}},\mathbf{y})</math>によって測られる。回帰では損失関数<math>L(\hat{\mathbf{y}},\mathbf{y})</math>としては'''自乗誤差損失'''
<math display="block">L(\hat{\mathbf{y}},\mathbf{y})=||\hat{\mathbf{y}}-\mathbf{y}||^2</math>

を用いる事が多い。

回帰の目標は、'''汎化誤差'''（'''予測誤差'''、'''予測損失'''とも）
<math display="block">E[L(\hat{\mathbf{y}}(\mathbf{x}),\mathbf{y})]=\iint L(\hat{\mathbf{y}}(\mathbf{x}),\mathbf{y}) p(\mathbf{x},\mathbf{y})\mathrm{d}\mathbf{x}\mathrm{d}\mathbf{y} </math>

を小さく抑える事である。ここで<math>\hat{\mathbf{y}}(\mathbf{x})=M(\mathbf{x},\theta)</math>は汎化アルゴリズムの出力であり、{{Math|''E''[・]}}は期待値を表す。

=== 分類  ===
分類タスクでは、事前に定められた有限個のクラスが定められていて、各クラスには、「ネコ」、「イヌ」などの'''クラスラベル'''（もしくは単に'''ラベル'''）と呼ばれるクラス名が割り振られている。分類タスクの目的は与えられた入力{{Mvar|'''x'''}}がのいずれに属するかを当てる事である。

分類タスクを解くアルゴリズムには大まかに「決定論的アプローチ」と「確率論的アプローチ」の２種類があり<ref>[[#瀧]] p.8.</ref>、前者は分類タスクでは入力{{Mvar|'''x'''}}が与えられたとき、{{Mvar|'''x'''}}が属すると思われるクラスラベルを出力するというものであり、損失関数としては典型的には'''0-1損失'''
<math display="block">L(\hat{y},y)=
\begin{cases}
1 &\text{if } \hat{y}\neq y\\
0 &\text{otherwise}
\end{cases} </math>

を使う<ref name=":4">[[#瀧]] p.36.</ref>。

一方、後者はクラスラベルを直接出力するのではなく、'''確信度'''（''confidence score''）<math>\widehat{y_1},\ldots,\widehat{y_k}</math>を出力するというものである。ここで<math>\widehat{y_j}</math>は{{Mvar|'''x'''}}が{{Mvar|''j''}}番目のクラスに属しているとどの程度確信しているかを表す尺度であり、<math>0\le \widehat{y_j} \le 1</math>と<math>\widehat{y_1}+\cdots+\widehat{y_k}=1</math>を満たす。

確信度を出力させる分類タスクでは、訓練データ<math>(\mathbf{x}_i,\mathbf{y}_i)</math>の{{Mvar|'''y'''{{sub|'''i'''}}}}も確信度と整合性が取れるように符号化する。すなわち、{{Mvar|'''x'''{{sub|'''i'''}}}}が{{Mvar|''j''}}番目のクラスに属している場合、<math>\mathbf{y}_i=\mathbf{e}_j</math>とする。ここで{{Mvar|'''e'''{{sub|'''j'''}}}}は{{Mvar|''j''}}番目の成分が1でそれ以外の成分が0のベクトルである（このように1つの成分だけが1でそれ以外は0となるベクトルを'''one-hotベクトル'''とい、one-hotベクトルによりデータを表現する事を'''one-hot表現'''<ref>[[#瀧]] p.30.</ref> という）。損失関数としては典型的には'''[[交差エントロピー]]'''
<math display="block">L(\hat{\mathbf{y}},\mathbf{y})=-\sum_ky_k\log \widehat{y_k}
 </math>

を使う<ref name=":4" />。

=== 回帰と分類の関係性 ===
確信度を使った分類タスクに対するアルゴリズムを設計する典型的な手法は、回帰タスクのアルゴリズムを流用するというものである。すなわちクラスをone-hotベクトルで符号化した訓練データ<math>(\mathbf{x}_1,\mathbf{y}_1),\ldots,(\mathbf{x}_n,\mathbf{y}_n)</math>を使って回帰タスクのアルゴリズムを訓練し、訓練結果のアルゴリズムを分類タスクに利用するという手法である。ただし、回帰タスク出力<math>\widehat{\mathbf{u}}=(\widehat{u_1},\ldots,\widehat{u_k})</math>は、分類タスクの出力である確信度と違い、<math>0\le \widehat{u_j} \le 1</math>と<math>\widehat{u_1}+\cdots+\widehat{u_k}=1</math>という条件を満たさないという問題が起こる。そこで一旦'''[[ソフトマックス関数|ソフトマックス変換]]'''
<math display="block">\mathrm{softmax}~:~\mathbb{R}^k\to [0,1]^k, (u_1,\ldots,u_k)\mapsto {1\over \sum_{j=1}^ke^{u_j}}(e^{u_1},\ldots,e^{u_k}) </math>

をかける事でこの問題を解決する。

逆に確信度を使った分類タスクを回帰タスクに流用する事もでき、この場合は上と同様の理由でソフトマックス変換の逆変換をかける必要がある。

== バイアスと分散のトレードオフ ==
{{Main|偏りと分散}}
回帰では、入力{{Mvar|'''x'''}}に対応する{{Mvar|'''y'''}}の予測値<math>\hat{\mathbf{y}}=\hat{F}_D(\mathbf{x})</math>を出力する事を求められ、<math>\hat{\mathbf{y}}</math>は{{Mvar|'''y'''}}の期待値に近いことが望ましく、しかも<math>\hat{\mathbf{y}}</math>のばらつきは小さい方が望ましい。しかし下記に示すようにこの２つの要件はトレードオフの関係にある<ref>{{Cite web|url=https://www.cs.cornell.edu/courses/cs4780/2018fa/lectures/lecturenote12.html|title=Lecture 12: Bias-Variance Tradeoff|accessdate=2020/11/10|publisher=[[コーネル大学]]|work=CS4780/CS5780: Machine Learning for Intelligent Systems [FALL 2018]}}</ref>：

{{math theorem|定理|{{math|''p''('''''x''''','''''y''''')}}を<math>\mathbb{R}^{\ell}\times\mathbb{R}^k</math>上の確率分布とし、{{mvar|D}}を<math>\mathbb{R}^{\ell}\times\mathbb{R}^k</math>上の何らかの確率分布に従って選ばれた訓練データの集合とし<ref group="注">典型的には、{{math|''p''('''''x''''','''''y''''')}}に従って独立に{{mvar|D}}の各データを選ぶが、{{mvar|D}}をどのような確率分布から選んだかによらず、定理は証明できる。</ref>、<math>\hat{F}</math>を回帰アルゴリズムとし、{{mvar|D}}によってこの回帰アルゴリズムを訓練して得られた関数を<math>\hat{\mathbf{y}}=\hat{F}_D(\mathbf{x})</math>とし、誤差関数を自乗誤差
<math display="block">L(\hat{\mathbf{y}},\mathbf{y})=||\hat{\mathbf{y}}-\mathbf{y}||^2</math>
により定義し、さらに<math>(\mathbf{x},\mathbf{y})\sim p</math>を{{mvar|D}}とは独立に選び、
<math display="block">\bar{\mathbf{y}}(\mathbf{x})=E_{\mathbf{y}\sim p|_{\mathbf{x}}}[\mathbf{y}|\mathbf{x}]</math>
<math display="block">\bar{F}(\mathbf{x})=E_D[\hat{F}_D(\mathbf{x})]</math>
とする。

このとき、予測誤差の訓練データ集合{{mvar|D}}に関する期待値（'''期待予測誤差'''<ref>[[#金森]] p.13.</ref>）
<math display="block">E_D[E_{(\mathbf{x},\mathbf{y})\sim p}[L(\hat{F}_D(\mathbf{x}),\mathbf{y})]=E_{(\mathbf{x},\mathbf{y})\sim p,D}[||\hat{F}_D(\mathbf{x})-\mathbf{y}||^2]</math>
は以下を満たす：
<math display="block">E_{(\mathbf{x},\mathbf{y})\sim p,D}[||\hat{F}_D(\mathbf{x})-\mathbf{y}||^2]=\mathsf{Var}(\hat{F})+\mathsf{Bias}^2(\hat{F})+\mathsf{Noise}(p)</math>
ここで、
<math display="block">\mathsf{Var}(\hat{F})=E_{\mathbf{x}\sim p|_{\mathbf{x}},D}(||\hat{F}_D(\mathbf{x})-\bar{F}(\mathbf{x})||^2)</math>
<math display="block">\mathsf{Bias}^2(\hat{F})=E_{\mathbf{x}\sim p|_{\mathbf{x}}}(||\bar{F}(\mathbf{x})-\bar{\mathbf{y}}(\mathbf{x})||^2)</math>
<math display="block">\mathsf{Noise}(\hat{F})=E_{(\mathbf{x},\mathbf{y})\sim p}(||\bar{\mathbf{y}}(\mathbf{x})-\mathbf{y}||^2)</math>
|note=バイアスと分散のトレードオフ}}

{{Math proof|
<math display="block">\begin{align}
&{1\over 2}(E_{(\mathbf{x},\mathbf{y})\sim p,D}[||\hat{F}_D(\mathbf{x})-\mathbf{y}||^2]-\mathsf{Var}(\hat{F})-\mathsf{Bias}^2(\hat{F})-\mathsf{Noise}(p))\\
&={1\over 2}E_{(\mathbf{x},\mathbf{y})\sim p,D}[
||\hat{F}_D(\mathbf{x})-\mathbf{y}||^2
-||\hat{F}_D(\mathbf{x})-\bar{F}(\mathbf{x})||^2
-||\bar{F}(\mathbf{x})-\bar{\mathbf{y}}(\mathbf{x})||^2
-||\bar{\mathbf{y}}(\mathbf{x})-\mathbf{y}||^2
]\\
&= E_{(\mathbf{x},\mathbf{y})\sim p,D}[
-\hat{F}_D(\mathbf{x})\cdot\mathbf{y}
+\hat{F}_D(\mathbf{x})\cdot\bar{F}(\mathbf{x})
+\bar{F}(\mathbf{x})\cdot\bar{\mathbf{y}}(\mathbf{x})
+\bar{\mathbf{y}}(\mathbf{x})\cdot\mathbf{y}
-||\bar{F}(\mathbf{x})||^2
-||\bar{\mathbf{y}}(\mathbf{x})||^2
]=(1)
\end{align}</math>

ここで
<math display="block">
\begin{align}
&E_{(\mathbf{x},\mathbf{y})\sim p,D}[-\hat{F}_D(\mathbf{x})\cdot\mathbf{y}
+\hat{F}_D(\mathbf{x})\cdot\bar{F}(\mathbf{x})]\\
&=-E_{(\mathbf{x},\mathbf{y})\sim p}[E_D[\hat{F}_D(\mathbf{x})]\cdot\mathbf{y}
+E_D[\hat{F}_D(\mathbf{x})]\cdot\bar{F}(\mathbf{x})\\
&=E_{(\mathbf{x},\mathbf{y})\sim p}[-\bar{F}(\mathbf{x})\cdot\mathbf{y}
+||\bar{F}(\mathbf{x})||^2]
\end{align}
</math>
なので、
<math display="block">\begin{align}
(1)&= E_{(\mathbf{x},\mathbf{y})\sim p}[
-\bar{F}(\mathbf{x})\cdot\mathbf{y}
+\bar{F}(\mathbf{x})\cdot\bar{\mathbf{y}}(\mathbf{x})
+\bar{\mathbf{y}}(\mathbf{x})\cdot\mathbf{y}
-||\bar{\mathbf{y}}(\mathbf{x})||^2
]\\
&=
E_{(\mathbf{x},\mathbf{y})\sim p}[
(\bar{F}(\mathbf{x})-\bar{\mathbf{y}}(\mathbf{x}))(\bar{\mathbf{y}}(\mathbf{x})-\mathbf{y})
]\\
&=E_{\mathbf{x}}[
(\bar{F}(\mathbf{x})-\bar{\mathbf{y}}(\mathbf{x}))(\bar{\mathbf{y}}(
\mathbf{x})-E_{\mathbf{y}\sim p|_{\mathbf{x}}}[\mathbf{y}])
]\\
&=0
\end{align}</math>

|drop=yes}}上では回帰の場合について述べたが、確信度を出力する分類でも同様である。

=== ベイズ規則 ===
{{Mvar|L}}、{{Math|''p''(''x'',''y'')}}をそれぞれ回帰や分類といった教師あり学習のタスクに対する損失関数、データ分布とし、関数{{Mvar|F}}に関する予測損失を<math>R_L(F)=E_{(x,y)\sim p}[L(F(x),y)] </math>と書き表す。このとき、予測損失の下限
<math display="block">\underset{F}{\mathrm{inf}}R_L(F) </math>
を損失関数{{Mvar|L}}のもとでの'''ベイズ誤差'''(''Bayes error'')と呼び、下限を達成する{{Mvar|F}}を'''ベイズ規則'''(''Bayes rule'')という<ref>[[#金森]] p.9.</ref>。ここで<math>\underset{F}{\mathrm{inf}} </math>は[[可測関数]]全体の集合における[[順序集合|下限]]である。

ベイズ規則は理論上の最良の予測関数であるが、実際には確率分布{{math|''p''('''''x''''','''''y''''')}}が未知なので、{{math|''p''('''''x''''','''''y''''')}}に関する予測損失<math>R_L(F)=E_{(x,y)\sim p}[L(F(x),y)] </math>を計算できず、ベイズ規則を求める事ができない。このため教師あり学習では既知のデータ<math>(\mathbf{x}_1,\mathbf{y}_1),\ldots,(\mathbf{x}_n,\mathbf{y}_n )</math>から可能な限りベイズ規則に近い値を出力するアルゴリズムを探索する事が求められる。

==== 回帰 ====
自乗損失を損失関数として選んだ場合、次の定理が成り立つ<ref name=":2">[[#ESL]] p22-23</ref>：{{math theorem|定理|{{math|''p''('''''x''''','''''y''''')}}を<math>\mathbb{R}^\ell\times \mathbb{R}^k</math>上の確率分布とし、
<math display="block">L(\hat{\mathbf{y}},\mathbf{y})=||\hat{\mathbf{y}}-\mathbf{y}||^2</math>
とする。このとき、汎化誤差<math>R_L(F)=E_{(x,y)\sim p}[L(F(x),y)] </math>を最小にする<math>F(\mathbf{x})</math>は、
<math display="block">F(\mathbf{x})=E[\mathbf{y}|\mathbf{x}]</math>
である。ここで{{mvar|E}}は{{math|''p''('''''x''''','''''y''''')}}から定まる条件付き確率分布<math>p(\mathbf{y}\mid\mathbf{x})</math>からランダムに{{mvar|'''y'''}}を選んだときの期待値である。|note=自乗損失に関する回帰のベイズ規則}}
{{Math proof|
<math display="block">E[L(F(\mathbf{x}),\mathbf{y})]=\iint ||F(\mathbf{x})-\mathbf{y}||^2  p(\mathbf{x},\mathbf{y})\mathrm{d}\mathbf{x}\mathrm{d}\mathbf{y} </math><math>=\int\left(\int ||F(\mathbf{x})-\mathbf{y}||^2  p(\mathbf{y}\mid\mathbf{x})\mathrm{d}\mathbf{y}\right)p(\mathbf{x})\mathrm{d}\mathbf{x}</math>
を最小にするには、各{{mvar|'''x'''}}に対し、
<math display="block">S=\int ||F(\mathbf{x})-\mathbf{y}||^2  p(\mathbf{y}\mid\mathbf{x})\mathrm{d}\mathbf{y}</math>
を最小にすればよい。
<math display="block">
\begin{align}
S&=||F(\mathbf{x})||^2\int p(\mathbf{y}\mid\mathbf{x})\mathrm{d}\mathbf{y} - 2 F(\mathbf{x}) \cdot \int \mathbf{y} p(\mathbf{y}\mid\mathbf{x})\mathrm{d}\mathbf{y}+\int ||\mathbf{y}||^2 p(\mathbf{y}\mid\mathbf{x})\mathrm{d}\mathbf{y}\\
&=||F(\mathbf{x})||^2-2F(\mathbf{x}) \cdot E[\mathbf{y}\mid\mathbf{x}]+\int ||\mathbf{y}||^2 p(\mathbf{y}\mid\mathbf{x})\mathrm{d}\mathbf{y}\\
&=||F(\mathbf{x})-E[\mathbf{y}\mid\mathbf{x}]||^2-||E[\mathbf{y}\mid\mathbf{x}]||^2+\int ||\mathbf{y}||^2 p(\mathbf{y}\mid\mathbf{x})\mathrm{d}\mathbf{y}
\end{align}</math>
より{{mvar|S}}が最小になるのは、
<math display="block">F(\mathbf{x})=E[\mathbf{y}\mid\mathbf{x}]</math>
の場合である。

|drop=yes}}
関数<math>f(\mathbf{x})=E[\mathbf{y}|\mathbf{x}]</math>を'''回帰関数'''と呼ぶ事もある<ref name=":2" />。

==== 分類 ====
{{節stub|date=2021/01/19}}
（確信度ではなくクラスを直接出力するタイプの）分類タスクにおいて、0-1損失関するベイズ規則は以下のようになる：

== 半教師あり学習 ==
半教師あり学習の一種は部分のデータがラベルを付き、部分のデータがラベルを付かないこと。他の状況は、学習の目標はデータのラベルよりも多い場合。例えば、画像のボックスのラベルだけで、分割の役割を果たすこと。<ref>{{Cite journal|last=Ulku|first=Irem|last2=Akagündüz|first2=Erdem|date=2022-12-31|title=A Survey on Deep Learning-based Architectures for Semantic Segmentation on 2D Images|url=https://www.tandfonline.com/doi/full/10.1080/08839514.2022.2032924|journal=Applied Artificial Intelligence|volume=36|issue=1|pages=2032924|language=en|doi=10.1080/08839514.2022.2032924|issn=0883-9514}}</ref>

== 注釈 ==
{{Notelist2}}

== 出典 ==
{{reflist}}

== 参考文献 ==
{{Refbegin|2}}
* {{Cite book |title=深層学習(kindle版) |date=2018/8/27 |publisher=ドワンゴ |ASIN=B07GQV1X76 |author=Ian Goodfellow, Yoshua Bengio, Aaron Courville |translator=翻訳：黒滝紘生, 河野慎,  味曽野雅史, 保住純, 野中尚輝, 冨山翔司, 角田貴大, 監訳：岩澤有祐, 鈴木雅大, 中山浩太郎, 松尾豊 |year= |ref=GBC}} 
** {{Cite web |url=https://www.deeplearningbook.org/ |title=Deep Learning An MIT Press book |accessdate=2020/10/30 |publisher=}}同書原著のweb版
*{{Cite book|和書 |first1=Trevor |last1=Hastie |first2=Robert |last2=Tibshirani |first3=Jerome |last3=Friedman |others=杉山将、井手剛、神嶌敏弘、栗田多喜夫、前田英作、井尻善久、岩田具治、金森敬文、兼村厚範、烏山昌幸、河原吉伸、木村昭悟、小西嘉典、酒井智弥、鈴木大慈、竹内一郎、玉木徹、出口大輔、冨岡亮太、波部斉、前田新一、持橋大地、山田誠 翻訳 |title=統計的学習の基礎 データマイニング・推論・予測 |publisher=共立出版 |date=2014-06-25 |isbn=978-4320123625 |ref=ESL}}
**{{Cite web |url=https://web.stanford.edu/~hastie/ElemStatLearn/ |title=The Elements of Statistical Learning: Data Mining, Inference, and Prediction. |accessdate=2020/11/10 |publisher=[[スタンフォード大学]]}}：上述の書籍の英語版公式サイト。無料pdfあり。
*{{Cite book|和書 |author=瀧雅人 |title=これならわかる深層学習入門 |publisher=[[講談社]] |series=KS情報科学専門書 機械学習スタートアップシリーズ |date=2017-10-21 |isbn=978-4061538283 |ref={{SfnRef|瀧|2017}}}}
*{{Cite book|和書 |author=金森敬文 |title=統計的学習理論 |publisher=講談社 |series=KS情報科学専門書 機械学習スタートアップシリーズ |date=2015-08-08 |isbn=978-4061529052 |ref={{SfnRef|金森|2015}}}}


{{Refend}}

== 関連項目 ==
* [[バックプロパゲーション]]
* [[サポートベクターマシン]]
* [[ID3]]
* [[単純ベイズ分類器]]
* [[過剰適合]]
* [[事例ベース推論]]
* [[ブースティング]]
* [[教師なし学習]]

{{comp-stub}}

{{Normdaten}}
{{DEFAULTSORT:きようしありかくしゆう}}
[[Category:教師あり学習|*]]
[[Category:機械学習]]
[[Category:人工知能]]
[[Category:教育心理学]]