再生核ヒルベルト空間のソースを表示

[[ファイル:Different_Views_on_RKHS.png|右|サムネイル|関連した異なるRKHSの見方を表した図]]
[[関数解析学]]（[[数学]]の一分野）において、'''再生核ヒルベルト空間'''（'''RKHS'''）（さいせいかくヒルベルトくうかん、[[英語|英]]: reproducing kernel hilbert space）は、点評価が連続線形[[汎函数]]であるような関数から成る[[ヒルベルト空間]]である。点評価が連続線形であるとは、大雑把に言えば、RKHSに属する関数<math>f</math>と<math>g</math>がノルムとして近い（<math display="inline">\Vert f-g\Vert</math>が小さい）とき、<math>f</math>と<math>g</math>は各点でも近い（<math>|f(x)-g(x)|</math>が任意の<math>x</math>で小さい）ということである。逆は必ずしも成り立つ必要は無い。例えば、ノルムを[[一様ノルム]]としたとき関数列<math>\sin^n (x)</math> は[[各点収束]]するが[[一様収束]]しない。（ただし、一様ノルムは[[極化恒等式]]を満たさないためにいかなる[[内積]]からも誘導されないから、これは反例ではない。）

関数のヒルベルト空間であってRKHSでないものを作るのは簡単ではない。<ref>Alpay, D., and T. M. Mills. "A family of Hilbert spaces which are not reproducing kernel Hilbert spaces." J. Anal. Appl. 1.2 (2003): 107–111.</ref>しかし、いくつかの例は見つかっている。<ref>Z. Pasternak-Winiarski, "On weights which admit reproducing kernel of Bergman type", International Journal of Mathematics and Mathematical Sciences, vol. 15, Issue 1, 1992.</ref><ref>T. Ł. Żynda, "On weights which admit reproducing kernel of Szeg¨o type", Journal of Contemporary Mathematical Analysis (Armenian Academy of Sciences), 55, 2020.</ref>

[[自乗可積分函数|''L''<sup>2</sup> 空間]]は関数のヒルベルト空間ではない（したがってRKHSではない）が、関数の同値類のヒルベルト空間ではある（例えば、<math>f(x)=0</math>と<math>g(x)=1_{\mathbb{Q}}</math>で定義された<math> f </math>と<math> g </math>は''L''<sup>2</sup>では同値である）。一方、 ''L''<sup>2</sup>ノルムがノルムであるようなRKHSは存在する。例として、帯域制限関数の空間がある(詳細は後)。

RKHSは、その中の任意の関数を再生するような核と関係している。関数を「再生する」とは、関数の定義域内の任意の<math> x </math>に対して、その関数の「<math> x </math>での評価」が、核から生成される関数との内積をとることで可能である、ということである。そのような再生核は、評価関数が全て連続である時かつその時に限って存在する。

再生核が最初に提唱されたのは[[調和関数]]や[[重調和方程式]]の[[境界値問題]]に関するStanislaw Zarembaの1907年の研究である。同時期に、James Mercerは[[積分方程式]]の理論における再生性を満たすような関数を研究した。その後再生核のアイデアは20年近く放置されたが、[[セゲー・ガーボル]]、{{仮リンク|ステファン・ベルグマン|en|Stefan Bergman}}、[[サロモン・ボホナー]]による論文で再び触れられるようになった。その後1950年代前半に[[ナフマン・アロンシャイン]]とステファン・ベルグマンがこのテーマを体系的に発展させた。<ref>Okutmustur</ref>

再生核ヒルベルト空間には、[[複素解析]]や[[調和解析]]、[[量子力学]]など様々な応用がある。その中でも特に、RKHS内で経験損失を最小化するような関数は訓練データで評価された核関数の[[線形結合]]で書けるという{{仮リンク|リプレゼンター定理|en|Representer theorem}}のおかげで、{{仮リンク|統計的学習理論|en|Statistical learning theory}}の分野で再生核ヒルベルト空間が重要である。これは、経験損失最小化問題を無限次元の最適化問題から有限次元最適化問題へ簡単かできるために、実用上有用な結果である。

簡単のため、ここでは実数値ヒルベルト空間の概要を説明する。この理論は簡単に複素数値関数に拡張することができ、したがって[[解析関数]]空間であるような再生核ヒルベルト空間の重要な例を多く含んでいる。<ref>Paulson</ref>

== 定義 ==
<math>X</math>を[[集合]]とし、<math>H</math>を、<math>X</math>上で各点での加算とスカラー倍が定義された[[実数値関数]]から成る[[ヒルベルト空間]]とする。ヒルベルト空間<math>H</math>での評価汎関数とは、点<math>x\in X</math>について、関数を受け取って

: <math> L_{x} : f \mapsto f(x)  \text{   } \forall f \in H </math>

と評価する線形汎関数である。<math>H</math>が'''再生核ヒルベルト空間'''であるとは、任意の<math>x \in X</math>について、<math>L_x</math>が<math>H</math>上の任意の<math>f</math>で連続であることである。同値な条件は、<math>L_x</math>が<math>H</math>上の[[有界作用素]]である、つまり

{{NumBlk|:|<math> |L_x(f)| := |f(x)| \le M_x\, \|f\|_H \qquad \forall f \in H. \,</math>|{{EquationRef|1}}}}

を満たす<math>M_x > 0</math>が存在することである。任意の<math>x\in X</math>について<math>M_x<\infty</math>でなければならないが、<math display="inline">\sup_x M_x = \infty</math>でも良い。

性質 ({{EquationNote|1}}) は、内積が存在し、かつ定義域の任意の点で<math>H</math>の任意の関数を評価できるための最も弱い条件であるが、このままでは応用に使いづらい。性質 ({{EquationNote|1}}) から、<math>H</math>上の関数<math> f </math>の評価汎関数が、<math> f </math>とある関数<math> K_x </math>の内積で得られることが導かれ、こちらをRKHSの定義とする方が直感的である。この関数<math>K_x</math>は'''再生核'''{{要出典|date=September 2022}} と呼ばれる。RKHSはこの「再生核」から名前が来ている。正確には、[[リースの表現定理]]から、<math>X</math>の任意の点<math>x</math>に対して、<math>H</math>のただ1つの要素<math>K_x</math>が存在して、再生性

{{NumBlk|:|<math>  f(x) = L_x(f) = \langle f,\ K_x \rangle_H \quad \forall f \in H.</math>|{{EquationRef|2}}}}

が成り立つ。<math>K_x</math>は<math>X</math>から<math>\mathbb{R}</math>（複素ヒルベルト空間なら<math>\mathbb{C}</math>）への関数であり、<math>H</math>の要素であるから、

: <math> K_x(y) = L_y(K_x)= \langle K_x,\ K_y \rangle_H, </math>

が成り立つ。ただし、<math>K_y\in H</math>は<math>L_y</math>を生むような<math>H</math>の元である。

これによって、<math>H</math>の再生核が以下の関数<math> K: X \times X \to \mathbb{R} </math>として定義できる。

: <math> K(x,y) = \langle K_x,\ K_y \rangle_H. </math>

定義から、<math> K: X \times X \to \mathbb{R} </math>（複素なら<math>\mathbb{C}</math>）は対称（複素なら共役対称）であり、正定値でもある、つまり

: <math> \sum_{i,j =1}^n c_i c_j K(x_i, x_j)=
\sum_{i=1}^n c_i \left\langle K_{x_i} , \sum_{j=1}^n c_j K_{x_j} \right\rangle_{H} = 
 \left\langle \sum_{i=1}^n c_i K_{x_i} , \sum_{j=1}^n c_j K_{x_j} \right\rangle_{H} =
\left\|\sum_{i=1}^nc_iK_{x_i}\right\|_H^2 \ge  0 </math>

が任意の<math> n \in \mathbb{N}, x_1, \dots, x_n \in X, \text{ and } c_1, \dots, c_n \in \mathbb{R}. </math>で成り立つ。<ref>Durrett</ref>Moore–Aronszajnの定理 (下に説明あり) は、ある種これの逆であり、関数<math>K</math>がこれらの条件を満たすならば、<math>K</math>が再生核であるような<math>X</math>上の関数のヒルベルト空間が存在する、という主張である。

== 例 ==
{{仮リンク|周波数帯域有限|en|Bandlimiting}}な[[連続関数]]の集合<math>H</math>はRKHSであることを以下に示す。[[遮断周波数]]として定数 <math> 0<a < \infty </math>をとり、ヒルベルト空間を以下のように定義する。

: <math> H = \{ f \in C(\mathbb{R}) \mid \operatorname{supp}(F) \subset [-a,a] \} </math>

ただし、<math>C(\mathbb{R})</math>は自乗可積分な連続関数の集合であり、<math display="inline"> F(\omega) = \int_{-\infty}^\infty f(t) e^{-i\omega t} \, dt </math>は<math> f</math>の[[フーリエ変換]]である。ヒルベルト空間の内積として、

: <math>\langle f, g\rangle_{L^2} = \int_{-\infty}^\infty f(x) \cdot \overline{g(x)} \, dx.</math>

と定義する。フーリエ逆変換から

: <math> f(x) = \frac{1}{2 \pi} \int_{-a}^a F(\omega) e^{ix \omega} \, d\omega .</math>

が成り立つ。[[コーシー＝シュワルツの不等式]]と[[プランシュレルの定理]]より、任意の<math>x</math>について以下が成り立つ。

: <math> |f(x)| \le 
\frac{1}{2 \pi} \sqrt{ \int_{-a}^a 2a |F(\omega)|^2 \, d\omega} 
=\frac{1}{\pi}\sqrt{\frac{a}{2}\int_{-\infty}^\infty |F(\omega)|^2 \, d\omega} 
= \sqrt{\frac{a}{\pi}} \|f\|_{L^2}.  </math>

この不等式より評価汎函数が有界であり、したがって<math>H</math>がRKHSであることが示せた。

この例での核関数<math>K_x</math>は

:<math>K_x(y) = \frac{a}{\pi} \operatorname{sinc}\left ( \frac{a}{\pi} (y-x) \right )=\frac{\sin(a(y-x))}{\pi(y-x)}.</math>

で表される。上の式で定義された<math>K_x(y)</math>のフーリエ変換は、

:<math>\int_{-\infty}^\infty K_x(y)e^{-i \omega y} \, dy = 
\begin{cases}
e^{-i \omega x} &\text{if } \omega \in [-a, a], \\
0 &\textrm{otherwise},
\end{cases}
 </math>

である。したがって、[[プランシュレルの定理]]より

:<math> \langle f, K_x\rangle_{L^2} = \int_{-\infty}^\infty f(y) \cdot \overline{K_x(y)} \, dy 
= \frac{1}{2\pi} \int_{-a}^a F(\omega) \cdot e^{i\omega x} \, d\omega = f(x) .</math>

となり、核の再生性を実際に確認できた。

この<math>K_x</math>は[[ディラックのデルタ関数]]の「帯域制限版」であり、遮断周波数<math>a</math>が無限に行くと<math>K_x(y)</math>は<math>\delta(y-x)</math>に収束する。

== ムーア・アロンシャインの定理 ==
ここまで、再生核ヒルベルト空間から、対称で[[正定値]](英語版)な再生核関数を定義してきた。一方ムーア・アロンシャインの定理は逆方向の定理である。つまり、対称で正定値な核を1つとると、再生核ヒルベルト空間がただ1つに定まるという定理である。この定理は当初「アロンシャインの再生核定理」と呼ばれていたが、彼が[[E・H・ムーア]]の名を定理につけた。

: '''定理''' <math>K</math>を集合<math>X</math>上の対称正定値核とすると、<math>K</math>が再生核であるような<math>X</math>上のヒルベルト空間がただ1つ存在する。

'''証明''' <math>X</math>上の任意の<math>x</math>に対して<math>K_x = K(x, \cdot)</math>と定義する。<math>H_0</math>を<math>\{K_x : x \in X\}</math>の線形空間とする。<math>H_0</math>上の内積を以下のように定義する。

: <math> \left\langle \sum_{j=1}^n b_j K_{y_j}, \sum_{i=1}^m a_i K_{x_i} \right \rangle_{H_0} = \sum_{i=1}^m \sum_{j=1}^n {a_i} b_j K(y_j, x_i),</math>

この定義から<math>K(x,y)=\left\langle K_{x}, K_{y} \right\rangle_{H_0}</math>を得る。内積の対称性は<math>K</math>の対称性から示せ、内積の正定値性も<math>K</math>の正定値性から示せる。

<math>H_0</math>を内積に関して完備にしたものを<math>H</math>とする。<math>H</math>は以下の形で表される関数で構成される。

: <math> f(x) = \sum_{i=1}^\infty a_i K_{x_i} (x) \quad \text{where} \quad \lim_{n \to \infty}\sup_{p\geq0}\left\|\sum_{i=n}^{n+p} a_i K_{x_i}\right\|_{H_0} = 0.</math>

すると、再生性({{EquationNote|2}})を示せる:

: <math>\langle f, K_x \rangle_H = \sum_{i=1}^\infty a_i\left \langle K_{x_i}, K_x \right \rangle_{H_0}= \sum_{i=1}^\infty a_i K (x_i, x) = f(x).</math>

一意性を証明するために、<math>G</math>を、<math>K</math>が再生核であるような、関数から成るヒルベルト空間とする。<math>X</math>の任意の<math>x</math>と<math>y</math>について、

: <math>\langle K_x, K_y \rangle_H = K(x, y) = \langle K_x, K_y \rangle_G.</math>

線形性より<math>\langle \cdot, \cdot \rangle_H = \langle \cdot, \cdot \rangle_G</math>が<math>\{K_x : x \in X\}</math>の張る空間上で成り立つ。<math>G</math>は完備であって<math>H_0</math>を含むから、<math>H_0</math>を完備化したものを含む、つまり<math>H \subset G</math>。

ここから、逆に<math>G</math>の任意の要素が<math>H</math>の要素であることであることを示したい。<math>f</math>を<math>G</math>の要素とする。<math>H</math>は<math>G</math>の部分空間だから、<math>f_H \in H</math>と<math>f_{H^\perp} \in H^\perp</math>を使って<math>f=f_H + f_{H^\perp}</math>と分解できる。今<math>x\in X</math>について、<math>K</math>が<math>G</math>と<math>H</math>の再生核であるから、

:<math>f(x) = \langle K_x , f \rangle_G = \langle K_x, f_H \rangle_G + \langle K_x, f_{H^\bot} \rangle_G = \langle K_x , f_H \rangle_G =  \langle K_x , f_H \rangle_H = f_H(x),   </math>

が成り立つ。<math> K_x </math>は<math>H</math>に属するから<math>G</math>での<math> f_{H^\bot} </math>との内積が0となる事実を使った。上の式から<math>G</math>で<math>f=f_H</math>が成り立ち、証明完了となる。

== 積分作用素とマーサーの定理 ==
{{仮リンク|マーサーの定理|en|Mercer's theorem}}を使えば、積分作用素を通して対称正定値核<math>K</math>を特徴づけることができ、RKHSの新たな視点を得ることが出来る。<math>X</math>を狭義正で有限な[[ボレル測度]]<math>\mu</math>があるようなコンパクト集合であるとし、<math>K: X \times X \to \R</math>を連続対称正定値関数とする。積分作用素<math>T_K: L_2(X) \to L_2(X)</math>を以下のように定義する。

: <math> [T_K f](\cdot) =\int_X  K(\cdot,t) f(t)\, d\mu(t) </math>

ただし、<math>L_2(X)</math>は<math> \mu </math>の測度の下で自乗可積分な関数の空間である。

マーサーの定理によると、積分作用素<math>T_K</math>の固有値と固有関数が<math>K</math>のテイラー展開を意味している。したがって、この固有値と固有関数を使って、再生核が<math>K</math>であるようなRKHSを構成できる。詳細は以下の通りである。

上記の仮定のもとでは、<math>T_K</math>はコンパクトで連続で自己随伴で正定値な作用素である。自己随伴な作用素についての[[スペクトル定理]]より、<math display="inline">\lim_{i \to \infty}\sigma_i = 0</math>たる減少列<math>(\sigma_i)_i \geq 0 </math>が存在して、<math>L_2(X)</math>の正規直交基底<math>\{\varphi_i\}</math>を用いて<math>T_K\varphi_i(x) = \sigma_i\varphi_i(x)</math>と表せる。<math>T_K</math>の正定値性より、任意の<math>i</math>に対して<math>\sigma_i > 0</math>となる。更に、<math>T_K </math>は連続関数の空間<math>C(X)</math>へ連続的に写像するから、連続関数を固有ベクトルとできる。つまり、任意の<math>i</math>に対して<math>\varphi_i \in C(X)</math>である。したがって、マーサーの定理から、<math>K</math>は固有値と連続な固有写像を用いて以下のように書ける。

: <math> K(x,y) = \sum_{j=1}^\infty \sigma_j \, \varphi_j(x) \, \varphi_j(y) </math>

ただし、上の式は、任意の<math>x,y\in X</math>に対して

: <math> \lim_{n \to \infty}\sup_{u,v} \left |K(u,v) - \sum_{j=1}^n \sigma_j \, \varphi_j(u) \, \varphi_j(v) \right | = 0 </math>

が成り立つことを意味している。このような級数表現は、<math>K</math>のマーサー核やマーサー表現と呼ばれる。

更に、再生核が<math>K</math>であるようなRKHS<math>H</math>は以下のように与えられる。

:<math> H = \left \{ f \in L_2(X) \,\Bigg\vert\, \sum_{i=1}^\infty \frac{\left\langle f,\varphi_i \right \rangle^2_{L_2}}{\sigma_i} < \infty  \right\} </math>
ここで、<math>H</math>の内積は以下の式である。

:<math> \left\langle f,g \right\rangle_H = \sum_{i=1}^\infty \frac{\left\langle f,\varphi_i \right\rangle_{L_2}\left\langle g,\varphi_i \right\rangle_{L_2}}{\sigma_i}. </math>

である。RKHSのこのような表現は、確率や統計で応用があり、例えば確率過程での{{仮リンク|カルーネン・レーベ変換|en|Kosambi–Karhunen–Loève theorem}}や{{仮リンク|カーネル主成分分析|en|Kernel principal component analysis}}などがある。

== 特徴写像 ==
特徴写像とは、特徴空間と呼ばれるヒルベルト空間<math>F</math>に移す写像<math> \varphi\colon X \rightarrow F </math>である。これまでの章では、有界連続な評価関数と、正定値関数と、積分作用素の間の関係を見てきた。この章では、特徴写像を使った別のRKHSの表現を説明する。

特徴写像は{{NumBlk|:|<math> K(x,y) = \langle \varphi(x), \varphi(y) \rangle_F. </math>|{{EquationRef|3}}}}を通して核を定義する。<math> K </math>は明らかに対称であり、更に<math>F</math>での内積の性質から正定値性も得られる。逆に、各正定値関数と対応する再生核ヒルベルト空間には、({{EquationNote|3}})が成り立つような特徴写像が無限にある。

例えば、簡単なものでは<math> F = H </math>、任意の<math> x \in X </math>に対して<math> \varphi(x) = K_x </math>とすれば良い。このようにすれば、再生性から({{EquationNote|3}})が成り立つ。他に典型的な特徴写像の例としては、前の章の積分作用素に関連したもので、<math> F = \ell^2 </math>、<math> \varphi(x) = (\sqrt{\sigma_i} \varphi_i(x))_i </math>とするものもある。

核と特徴写像の間のこのような関係から、正定値関数(<math>H</math>の内積としての再生核)の新しい理解の仕方が得られる。更に、各特徴写像から、正定値関数の定義を通してRKHSを自然に定義できる。

最後に、特徴写像から、RKHSの新しい観点を明らかにするような関数空間を構築できる。以下の線形空間を考える。

: <math> H_\varphi = \{ f: X \to \mathbb{R} \mid \exists w \in F, f(x) = \langle w, \varphi(x) \rangle_{F}, \forall \text{  } x \in X \} . </math>

<math>H_\psi</math>上のノルムを以下のように定義できる。

: <math> \|f\|_\varphi = \inf \{\|w\|_F : w \in F, f(x) = \langle w, \varphi(x)\rangle_F, \forall \text{  } x \in X \} .</math>

<math> H_{\varphi} </math>は、核が<math> K(x,y) = \langle\varphi(x), \varphi(y)\rangle_F </math>で定義されたRKHSとなる。この表現では、RKHSの要素は特徴空間の要素同士の内積であり、したがってRKHSの世周防は超空間として見ることができる。RKHSのこの見方は、機械学習での[[カーネル法]]と関係がある。<ref name="名前なし-20231105145738">Rosasco</ref>

== 性質 ==
RKHSの有用な性質として以下のようなものがある。

* <math>(X_i)_{i=1}^p</math>を集合の列とし、<math>(K_i)_{i=1}^p</math> をそれぞれ<math> (X_i)_{i=1}^p</math>上の正定値関数とする。すると、
*:: <math>K((x_1,\ldots ,x_p),(y_1,\ldots,y_p)) = K_1(x_1,y_1)\cdots K_p(x_p,y_p)</math>
*: は<math> X = X_1 \times \dots \times X_p</math>上の核である。
* <math>X_0 \subset X</math>とすると、<math> K </math>の定義域を<math>X_0 \times X_0 </math>に制限したものもまた再生核となる。
* 任意の<math>x\in X</math>について<math> K(x, x) = 1 </math>となるように正規化した<math>K</math>を考える。 <math>X</math>上の擬距離空間を以下のように定義する。
*:: <math> d_K(x,y) = \|K_x - K_y\|_H^2 = 2(1-K(x,y)) \qquad \forall x \in X . </math>
*: [[コーシー＝シュワルツの不等式]]より、
*:: <math> K(x,y)^2 \le K(x, x)K(y, y)=1 \qquad \forall x,y \in X.</math>
*: このこの不等式から、<math>K</math>は入力間の{{仮リンク|類似性測度|en|similarity measure}}と見ることができる。<math>x, y \in X</math>が似ていれば<math>K(x,y)</math>は1に近くなり、<math>x,y \in X</math>が似ていなければ、<math>K(x,y)</math>は0に近くなる。

* <math> \{ K_x \mid x \in X \} </math>によって生成される空間の閉包は<math> H </math>と一致する。<ref name="名前なし-20231105145738"/>

== 一般的な例 ==

=== 双線形核 ===

:<math> K(x,y) = \langle x,y\rangle </math>

であるようなRKHSである。

この核に対応するRKHS <math>H</math>は、<math>\|f\|_H^2=\|\beta\|^2</math>を満たす<math>\beta</math>で<math>f(x) = \langle x,\beta\rangle</math>と表される関数で構成された双対空間である。

=== 多項式核 ===

: <math> K(x,y) = (\alpha\langle x,y \rangle + 1)^d, \qquad \alpha \in \R, d \in \N </math>

=== {{仮リンク|動径基底函数核|en|Radial basis function kernel}} ===
他の一般的な核として、<math> K(x,y) = K(\|x - y\|)</math>を満たすものがある。例えば以下がある。

* '''ガウシアン'''('''自乗指数''')'''核''':
*:: <math> K(x,y) = e^{-\frac{\|x - y\|^2}{2\sigma^2}},  \qquad \sigma > 0 </math>
* '''ラプラシアン核''':
*:: <math> K(x,y) = e^{-\frac{\|x - y\|}{\sigma}}, \qquad \sigma > 0 </math>
*: この核で定義されたRKHS <math>H</math>にある関数<math>f</math>の自乗ノルムは以下の通りである。<ref>Berlinet, Alain and Thomas, Christine. Reproducing kernel Hilbert spaces in Probability and Statistics, Kluwer Academic Publishers, 2004</ref>
*:: <math>\|f\|_H^2=\int_{\mathbb R}\Big( \frac1{\sigma} f(x)^2 + \sigma  f'(x)^2\Big) \mathrm d x.</math>

=== [[ベルグマン核]] ===
次に[[ベルグマン核]]の例を説明する。<math>X</math>を有限集合とし、<math>X</math>上の全ての複素数値関数から構成される空間を<math>H</math>とする。すると、<math>H</math>の要素は複素数列と解釈することができる。内積を複素ベクトルとしての内積で定義すると、<math>K_x</math>は<math>x</math>で1となり他で0となるような関数となる。つまり

: <math>K(x,y)=\begin{cases} 1 & x=y \\ 0 & x \neq y \end{cases}</math>

となるから、<math>K(x,y)</math>は単位行列と考えることができる。この場合、<math>H</math>は<math>\mathbb{C}^n</math>と同型である。

<math>X= \mathbb{D}</math> (<math>\mathbb{D}</math>は[[単位円板]])の場合はより複雑である。[[ベルグマン空間]] <math>H^2 (\mathbb{D})</math> は、<math>\mathbb{D}</math>上の[[二乗可積分]]な[[正則関数]]の空間である。<math>H^2(\mathbb{D})</math>の再生核は

: <math>K(x,y)=\frac{1}{\pi}\frac{1}{(1-x\overline{y})^2}</math>

であることが示せる。最後に、<math> L^2(\R) </math>の要素であって帯域幅が<math> 2a </math>であるような帯域制限関数の空間は、再生核が

: <math>K(x,y)=\frac{\sin a(x-y)}{\pi (x-y)}</math>

== ベクトル値関数への拡張 ==
この章では、RKHSの定義をベクトル値関数空間に拡張する。この拡張は、{{仮リンク|マルチタスク学習|en|Multi-task learning}}や{{仮リンク|多様体正則化|en|Manifold regularization}}で特に重要である。ベクトル値関数空間となって生じる主な違いは、再生核<math> \Gamma </math>が、<math>X</math>の任意の要素<math>x,y</math>に対して半正定値行列であるような対称関数であることである。より厳密には、ベクトル値RKHS(vvRKHS)は、任意の<math> c \in \mathbb{R}^T </math>と<math> x \in X </math>について

: <math> \Gamma_xc(y) = \Gamma(x, y)c \in H  \text{ for } y \in X </math>

と

: <math> \langle f, \Gamma_x c \rangle_H = f(x)^\intercal c.  </math>

となるような関数<math>f:X\rightarrow \mathbb{R}^T</math>のヒルベルト空間と定義される。この2つ目の性質がスカラー値の場合の再生性に対応している。この定義でも、スカラー値RKHSで見ていたような積分作用素、有界評価関数、特徴空間との関係が成り立つ。  vvRKHSの同値な定義として有界な評価汎関数のあるベクトル値ヒルベルト空間をとり、Rieszの表現定理から再生核の唯一存在性を示すことができる。Mercerの定理もベクトル値に拡張することができ、したがってvvRKHSの特徴写像による見方も得られる。最後に、<math> \{ \Gamma_xc : x \in X, c \in \mathbb{R}^T \} </math>の張る空間の閉包が<math> H </math>と一致することも示せ、ここでスカラー値の場合と似た性質が得られる。

要素ごとに見ることでvvRKHSを直感的に理解できる。<math>\Lambda = \{1, \dots, T \} </math>とする。空間<math> X \times \Lambda </math>と対応する再生核{{NumBlk|:|<math> \gamma: X \times \Lambda \times X \times \Lambda \to \mathbb{R}. </math>|{{EquationRef|4}}}}を考える。上に述べたとおり、この再生核に対応するRKHSは<math>\{ \gamma_{(x,t)} : x \in X, t \in \Lambda \} </math>が張る空間の閉包で与えられる。ただし、任意のペア{{Nowrap|<math> (x,t), (y,s) \in  X \times \Lambda </math>}}に対して<math> \gamma_{(x,t)} (y,s)  = \gamma( (x,t), (y,s)) </math>である。

スカラー値RKHSとの関係は、行列値核が({{EquationNote|4}})の核と以下の式で関連していることから分かる。

: <math> \Gamma(x,y)_{(t,s)} = \gamma((x,t), (y,s)). </math>

更に、({{EquationNote|4}})の形の核は上の式で行列値核を定義する。では、写像<math> D: H_\Gamma \to H_\gamma </math>を

: <math> (Df)(x,t) = \langle f(x), e_t \rangle_{\mathbb{R}^T} </math>

と定義する。ただし、<math> e_t </math>は<math>\mathbb{R}^T</math>の直交基底の<math> t </math>番目の要素である。<math> D </math>は全単射であり、<math> H_\Gamma </math>と<math> H_\gamma </math>の間の等長写像となる。

vvRKHSのこのような見方はマルチタスク学習で有用ではあるものの、この等長変換はベクトル値の場合の研究をスカラー値の場合の研究に帰結させるものではない。実際、この等長変換によってもともとの核の性質がたびたび無くなり、スカラー値核や入力空間が複雑になりすぎる。<ref>De Vito</ref><ref>Zhang</ref><ref>Alvarez</ref>

行列値再生核の中でも重要な種類に、スカラー値核と<math>T</math>次元対称半正定値行列の積で表されるような、分離可能核と呼ばれるものがある。これまでの議論の観点から表せば、分離可能核は<math>X</math>の任意の要素<math>x,y</math>と<math>T</math>の任意の要素<math>s,t</math>に対して以下の式で表される。

: <math> \gamma((x,t),(y,s)) =  K(x,y) K_T(t,s) </math>

スカラー値核が入力間の依存関係を表現していたのに対して、行列値核は入力と出力の両方の依存関係を表現していることが分かる。

最後に、このような理論は更に関数空間の関数空間に拡張できるが、このような空間での核を得るのはより難しい。<ref name="名前なし-20231105145738"/>

== RKHSとReLU関数の関係 ==
[[正規化線形関数|ReLU関数]]は通常<math>f(x)=\max \{0, x\}</math>で定義され、活性化関数としてReLU関数が使われているニューラルネットワークの構造の中枢である。  再生核ヒルベルト空間を使ってReLUに似た非線形関数を構築することができる。以下、実際に構築の仕方を紹介し、そこから ReLUが活性化関数に使われているニューラルネットワークの表現力を導出する過程を説明する。

ヒルベルト空間として、<math>f(0) = 0</math>であって導関数が自乗可積分な関数の空間<math> \mathcal{H}=L^1_2(0)[0, \infty) </math>を考える。内積は以下のように定義する。 

: <math> \langle f,g \rangle_{\mathcal{H}} = \int_0^\infty f'(x)g'(x) \, dx </math>

再生核を構成するためには密な部分空間を考えれば十分であるから、<math>f\in C^1[0, \infty)</math>かつ<math>f(0)=0</math>とする(?)。微分積分学の基本公式から

: <math>f(y)= \int_0^y f'(x) \, dx = \int_0^\infty G(x,y) f'(x) \, dx = \langle K_y,f \rangle</math>

となる。ただし

: <math>G(x,y)= 
\begin{cases} 1, & x < y\\
    0, & \text{otherwise}
\end{cases}</math>

: <math>K(x, y)=K_y(x)=\int_0^x G(z, y) \, dz=
\begin{cases}
  x, & 0\leq x<y \\
  y, & \text{otherwise.}
\end{cases}=\min(x, y)</math>

更に<math> X\times X = [0,\infty)\times [0,\infty) </math>上のmin関数はReLU関数で以下のように表現できる。 

: <math> \min(x,y) = x -\operatorname{ReLU}(x-y)  =  y - \operatorname{ReLU}(y-x) </math>

この式を使って、{{仮リンク|リプレゼンター定理|en|Representer theorem}}をこのRKHSにを適用すると、ニューラルネットワークにおいてReLU活性化関数を使うのが最適だと証明できる。{{要出典|date=January 2022}}

== 関連項目 ==
* {{仮リンク|正定値核|en|Positive-definite kernel}}
* {{仮リンク|マーサーの定理|en|Mercer's theorem}}
* [[カーネル法]]
* {{仮リンク|分布の核埋め込み|en|Kernel embedding of distributions}}
* {{仮リンク|リプレゼンター定理|en|Representer theorem}}

== 出典 ==
{{Reflist}}

== 参考文献 ==
* Alvarez, Mauricio, Rosasco, Lorenzo and Lawrence, Neil, “Kernels for Vector-Valued Functions: a Review,” https://arxiv.org/abs/1106.6251, June 2011.
* {{Cite journal|last=Aronszajn|first=Nachman|author-link=Nachman Aronszajn|year=1950|title=Theory of Reproducing Kernels|journal=[[Transactions of the American Mathematical Society]]|volume=68|issue=3|pages=337–404|doi=10.1090/S0002-9947-1950-0051437-7|JSTOR=1990404|MR=51437}}
* Berlinet, Alain and Thomas, Christine. ''Reproducing kernel Hilbert spaces in Probability and Statistics'', Kluwer Academic Publishers, 2004.
* {{Cite journal|last=Cucker|first=Felipe|last2=Smale|first2=Steve|year=2002|title=On the Mathematical Foundations of Learning|journal=[[Bulletin of the American Mathematical Society]]|volume=39|issue=1|pages=1–49|doi=10.1090/S0273-0979-01-00923-5|MR=1864085}}
* De Vito, Ernest, Umanita, Veronica, and Villa, Silvia. "An extension of Mercer theorem to vector-valued measurable kernels," {{Arxiv|1110.4017}}, June 2013.
* Durrett, Greg.  9.520 Course Notes, Massachusetts Institute of Technology, https://www.mit.edu/~9.520/scribe-notes/class03_gdurett.pdf, February 2010.
* {{Cite journal|last=Kimeldorf|first=George|last2=Wahba|first2=Grace|year=1971|title=Some results on Tchebycheffian Spline Functions|url=http://www.stat.wisc.edu/~wahba/ftp1/oldie/kw71.pdf|journal=Journal of Mathematical Analysis and Applications|volume=33|issue=1|pages=82–95|doi=10.1016/0022-247X(71)90184-3|MR=290013}}
* Okutmustur, Baver.   “Reproducing Kernel Hilbert Spaces,” M.S. dissertation, Bilkent University, http://www.thesis.bilkent.edu.tr/0002953.pdf, August 2005.
* Paulsen, Vern. “An introduction to the theory of reproducing kernel Hilbert spaces,” http://www.math.uh.edu/~vern/rkhs.pdf.
* {{Cite journal|last=Steinwart|first=Ingo|last2=Scovel|first2=Clint|year=2012|title=Mercer's theorem on general domains: On the interaction between measures, kernels, and RKHSs|journal=Constr. Approx.|volume=35|issue=3|pages=363–417|doi=10.1007/s00365-012-9153-3|MR=2914365}}
* Rosasco, Lorenzo and Poggio, Thomas.  "A Regularization Tour of Machine Learning – MIT 9.520 Lecture Notes" Manuscript, Dec. 2014.
* Wahba, Grace,  ''Spline Models for Observational Data'', [http://www.siam.org/books/ SIAM], 1990.
* {{Cite journal|last=Zhang|first=Haizhang|last2=Xu|first2=Yuesheng|last3=Zhang|first3=Qinghui|year=2012|title=Refinement of Operator-valued Reproducing Kernels|url=http://www.jmlr.org/papers/volume13/zhang12a/zhang12a.pdf|journal=Journal of Machine Learning Research|volume=13|pages=91–136}}

{{DEFAULTSORT:さいせいかくひるへるとくうかん}}
[[Category:数学に関する記事]]
[[Category:ヒルベルト空間]]