カーネル法のソースを表示

{{Machine learning bar}}
'''カーネル法'''（カーネルほう、{{lang-en-short|kernel method}}）は[[パターン認識]]において使われる手法の一つで、 判別などのアルゴリズムに組み合わせて利用するものである。よく知られているのは、[[サポートベクターマシン]]と組み合わせて利用する方法である。

パターン認識の目的は、一般に、 データの構造(例えば[[クラスタ]]、[[ランキング]]、[[主成分分析|主成分]]、[[相関]]、[[分類]])を見つけだし、研究することにある。この目的を達成するために、 カーネル法ではデータを高次元の[[特徴空間]]上へ写像する。特徴空間の各[[座標]]はデータ要素の一つの特徴に対応し、特徴空間への写像（特徴写像）によりデータの集合は[[ユークリッド空間]]中の点の集合に変換される。特徴空間におけるデータの構造の分析に際しては、様々な方法がカーネル法と組み合わせて用いられる。特徴写像としては多様な写像を使うことができ（一般に[[線型性|非線形]]写像が使われる）、それに対応してデータの多様な構造を見いだすことができる。

== カーネル関数 ==
カーネル法の名前は[[カーネル関数]]を使うことに由来する<ref>赤穂昭太郎：「カーネル多変量解析: 非線形データ解析の新しい展開」、岩波書店 (2008年11月27日)、ISBN 978-4-00-006971-7</ref><ref>福水健次：「カーネル法入門：正定値カーネルによるデータ解析」, 朝倉書店（2010), ISBN 978-4-25412808-6</ref><ref>John Shawe‐Taylor、Nello Cristianini、大北剛(訳)：「カーネル法によるパターン解析」、共立出版 (2010年5月1日)、ISBN 978-4-320-12250-5</ref><ref>金森敬文：「統計的学習理論」、講談社（機械学習プロフェッショナルシリーズ）(2015), ISBN 978-4-06152905-2</ref><ref>瀬戸道生、伊吹竜也、畑中健志：「機械学習のための関数解析入門：ヒルベルト空間とカーネル法」、内田老鶴圃 (2021年4月6日)、ISBN 978-4-75360171-4</ref><ref>伊吹竜也、山内淳矢、畑中健志、瀬戸道生：「機械学習のための関数解析入門：カーネル法実践:学習から制御まで」、内田老鶴圃 (2023年5月29日) 、ISBN 978-4-75360172-1</ref><ref>鈴木讓：「機械学習のためのカーネル100問 with Python」、共立出版 (2021年12月25日)、ISBN 978-4-320-12513-1</ref>。

カーネル関数は、データの特徴空間中での座標を明示的に計算することなく、データから特徴空間における[[計量ベクトル空間#内積|内積]]を直接計算する手段を与える。内積を評価するためにカーネル関数を使うと、明示的な座標の計算を経るよりも計算量が少なくて済むことが多い。
[[Image:Kernel trick idea.svg|thumb|500px|φ((''a'', ''b'')) = (''a'', ''b'', ''a''<sup>2</sup> + ''b''<sup>2</sup>) で与えられるカーネルを持つSVM、したがって ''K''('''x''' , '''y''') = <math> \mathbf{x} \cdot \mathbf{y} + \left\| \mathbf{x} \right\| ^2  \left\| \mathbf{y} \right\| ^2  </math> となる。トレーニングポイントは、分離する超平面を簡単に見つけることができる3次元空間にマッピングされる。]]
カーネル関数を使って、計算複雑度の増大を抑えつつ内積にもとづく解析手法を高次元特徴空間へ拡張するアプローチを、一般に'''カーネルトリック'''と呼ぶ。カーネル関数はベクトルのみならず、系列データ、テキスト、画像、グラフなどに対しても導入されている。

== 組み合わせ ==
カーネル法と組み合わせて使うことのできるアルゴリズムには、[[サポートベクターマシン]] (SVM)、Fisher の{{Ill|線形判別分析|en|Linear discriminant analysis}} (LDA)、[[主成分分析]] (PCA)、{{Ill|正準相関分析|en|Canonical correspondence analysis}}、[[リッジ回帰]]、{{Ill|スペクトルクラスタリング|en|Spectral clustering}}などの多くの手法がある。

1990年代半ばからこの手法を精力的に開発してきた研究コミュニティの文化を反映して、多くのカーネル法のアルゴリズムは凸最適化あるいは[[固有値問題]]に基づいており、 計算効率が良く、統計学的な基礎づけを伴っている。これらのアルゴリズムの統計的性質は、典型的には{{Ill|統計的学習理論|en|Statistical learning theory}}を用いて解析される。

== 応用 ==
現在のところ、主要な応用分野は[[地球統計学]]、[[クリギング]]、{{仮リンク|逆距離加重法|en|Inverse distance weighting}}、[[バイオインフォマティクス]]、[[文書分類|テキスト分類]]、[[手書き文字認識]]などである。カーネル関数とカーネルアルゴリズムとの組み合わせは任意であるため、意外性のある応用が可能である。例えば、生物系列上の回帰問題や、文書の分類、画像のクラスタリングなどである。

== 参考文献==
{{reflist}}

== 関連する洋書 ==
* Nello Cristianini and John Shawe-Taylor: ''An Introduction to Support Vector Machines and Other Kernel-based Learning Methods'', Cambridge Univ. Press, ISBN 978-0-51180138-9.
* Benhard Schölkopf and Alexander J. Smola: ''Learning with Kernels: Support Vector Machines, Regularization, Optimization, and Beyond'', MIT Press, eISBN 978-0-26225693-3 (2001).

== 外部リンク ==
* [https://www.ism.ac.jp/~fukumizu/OsakaU2014/OsakaU_1intro.pdf 福水健次：「カーネル法入門：１．カーネル法へのイントロダクション」（2014年9月）]

{{Software-stub}}
{{DEFAULTSORT:かあねるほう}}
[[Category:機械学習のカーネル法|*]]
[[Category:分類アルゴリズム]]
[[Category:地球統計学]]