カーネル (統計学)のソースを表示

{{refimprove|date=May 2012}}
'''カーネル'''（{{lang-en-short|kernel}}）は、統計学において複数の異なる意味に用いられる語である。

== ベイズ統計学 ==
統計学、特に[[ベイズ統計学]]において、ある[[確率密度関数]]または[[確率質量関数]]の'''カーネル'''とは、確率密度関数や確率質量関数の、ドメイン内のいかなる変数の関数でもないすべての因子が省略されるような形式である{{Citation needed|date=May 2012}}。そのような因子は、それらの確率密度関数や確率質量関数の[[パラメーター]]の関数であってもよい。これらの因子は、[[確率分布]]の[[正規化|正規化係数]]の一部をなし、またそれらは多くの場合不要である。

例えば、[[擬似乱数|擬似乱数サンプリング]]では、ほとんどのサンプリングアルゴリズムは正規化係数を無視する。さらに、[[事前確率|共役事前確率分布]]のベイズ分析では、計算途中において正規化係数は一般に無視され、カーネルのみが考慮される。最終的に、カーネルの形式が調査され、もしそれが既知の分布に一致すれば、正規化係数は復元されることができる。そうでなければ、正規化係数は不要かもしれない（例えば、その分布はサンプリングに用いられるだけであれば不要である）。多くの分布において、カーネルは閉形式で書くことができるが、正規化定数はそうではない。

一つの例は、[[正規分布]]である。正規分布の[[確率密度関数]]は

:<math>p(x \mid \mu,\sigma^2) = \frac{1}{\sqrt{2\pi\sigma^2}} \exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)</math>

であり、対応するカーネルは

:<math>p(x \mid \mu,\sigma^2) \propto \exp \left( -\frac{(x-\mu)^2}{2\sigma^2} \right)</math>

である。

指数関数の前にある因子は、<math>\sigma^2</math> というパラメーターを含みながらも、省略されている。なぜならばそれは、定義域の変数<math>x</math>の関数ではないからである。

== パターン分析 ==
[[再生核ヒルベルト空間]] (RKHS) のカーネルが、[[カーネル法]]として知られる一連の手法において、implicit spaceのデータに対し、[[分類 (統計学)|クラス識別]]、[[回帰分析]]、[[クラスター分析]]などを実行するのに用いられる。この用法は特に[[機械学習]]においてよく見られる。特にパラメーターに対して線形なクラスのモデルを用いる多くの機械学習手法を非線形化するために用いることができる。
RKHSを用いる機械学習手法で扱われる「カーネル」とは、対称性、正定値性（任意の有限個の入力空間の元に対して、グラム行列が半正定値）をともに満たす二変数関数のこと（総称）であり、ノンパラメトリック統計でカーネルと呼ばれるものとは一般に異なる。代表的なものにガウシアンカーネルがある。

== ノンパラメトリック統計 ==
[[ノンパラメトリック手法]]において、'''カーネル'''とは、ノンパラメトリックな推定手法に用いられる重み付け関数のことである。カーネルは、[[確率変数]]の[[確率密度関数]]を推定するための[[カーネル密度推定]]や、確率変数の[[条件付き期待値]]を推定する[[カーネル回帰]]に用いられる。カーネルは[[時系列分析]]においては[[窓関数]]という名称で、[[ピリオドグラム]]によって[[スペクトル密度]]を推定するのに用いられる。その他の利用法としては、[[点過程]]の時間可変な強度の推定にも用いられる。そこでは窓関数（カーネル）は、時系列データとともに畳み込まれる。

ノンパラメトリックな推定を実行する際はふつう、（カーネル関数に加えて）カーネルの幅も指定されなければならない。

=== 定義 ===
{{further|積分変換}}
カーネルとは、非負[[実数|実数値]][[可積分函数|可積分]]関数 ''K'' であって、次の2つの条件を満たすもののことである。
*<math>\int_{-\infty}^{+\infty}K(u)\,du = 1\,;</math>
*<math>K(-u) = K(u) \mbox{ for all values of } u\,.</math>
一つめの要件は、カーネル密度推定の結果が[[確率密度関数]]となることを担保するものである。

二つめの要件は、対応する分布の平均が、利用されたサンプルの平均に等しくなることを担保するものである。

もし ''K'' がカーネルであれば、''λ'' > 0 に対して ''K''*(''u'') = ''λK''(''λu'') で定義される ''K''* もカーネルとなる。この性質は、データに適したスケールを選択するために用いることができる。

=== よく用いられるカーネル関数 ===
いくつかの種類のカーネル関数がよく用いられる。たとえば一様、三角、Epanechnikov<ref>Named for {{cite journal |last=Epanechnikov |first=V. A. |year=1969 |title=Non-Parametric Estimation of a Multivariate Probability Density |journal=Theory Probab. Appl. |volume=14 |issue=1 |pages=153–158 |doi=10.1137/1114019 }}</ref>、quartic (biweight)、tricube<ref>{{cite journal|author=Altman, N. S.|year=1992|title=An introduction to kernel and nearest
neighbor nonparametric regression|journal=The American Statistician|volume=46|issue=3|pages=175–185|doi=10.1080/00031305.1992.10475879}}</ref>、triweight、ガウシアン、quadratic<ref>{{cite journal|author=Cleveland, W. S. & Devlin, S. J.|year=1988|title=Locally weighted regression: An approach to regression analysis by local fitting|journal=Journal of the American Statistical Association|volume=83|pages=596–610|doi=10.1080/01621459.1988.10478639}}</ref>、コサインである。

下の表において、'''1'''<sub>{…}</sub> は[[指示関数]]である。
<!--

The gallery style has the problem that the maths is cut off

<gallery Caption="Commonly used Kernel Functions" style="background:white">
Image:Kernel_uniform.svg      |Uniform                             <br/> <math>K(u) = \frac{1}{2}\ 1_{(|u|\leq1)}</math>
Image:Kernel_triangle.svg     |Triangle                            <br/> <math>K(u) = (1-|u|)\ 1_{(|u|\leq1)}</math>
Image:Kernel_epanechnikov.svg |[[V. A. Epanechnikov|Epanechnikov]] <br/> <math>K(u) = \frac{3}{4}(1-u^2)\ 1_{(|u|\leq1)}</math>
Image:Kernel_quartic.svg      |Quartic                             <br/> <math>K(u) = \frac{15}{16}(1-u^2)^2\ 1_{(|u|\leq1)}</math>
Image:Kernel_triweight.svg    |Triweight                           <br/> <math>K(u) = \frac{35}{32}(1-u^2)^3\ 1_{(|u|\leq1)}</math>
Image:Kernel_exponential.svg  |[[Normal_distribution|Gaussian]]    <br/> <math>K(u) = \frac{1}{\sqrt{2\pi}}e^{-\frac{1}{2}u^2}</math>
Image:Kernel_cosine.svg       |Cosine                              <br/> <math>K(u) = \frac{\pi}{4}\cos\left(\frac{\pi}{2}u\right)1_{(|u|\leq1)}</math>
Image:Kernel logistic.svg     |[[Logistic distribution|Logistic]]  <br/> <math>K(u) = \frac{1}{e^{u}+2+e^{-u}}</math>
Image:Kernel Silverman.svg    |Silverman kernel                    <br/> <math>K(u) = \frac{1}{2} e^{-\frac{|u|}{\sqrt{2}}}\cdot \sin\left( \frac{|u|}{\sqrt{2}}+\frac{\pi}{4}\right)</math>
</gallery>

-->

{| style="background-color:white;text-align:left" class="wikitable"
! colspan="3" | カーネル関数, ''K''(''u'')
! <math>\textstyle \int u^2K(u)du</math>
! <math>\textstyle \int K(u)^2 du</math>
! Epanechnikov カーネルに対する相対効率
|-
! 一様
| <math>K(u) = \frac12 \,\mathbf{1}_{\{|u|\leq1\}}</math>
| [[File:Kernel uniform.svg|150px]]
| &nbsp; <math>\frac13</math>
| &nbsp; <math>\frac12</math>
| 1.076
|-
! 三角
| <math>K(u) = (1-|u|) \,\mathbf{1}_{\{|u|\leq1\}}</math>
| [[File:Kernel triangle.svg|150px]]
| &nbsp; <math>\frac{1}{6}</math>
| &nbsp; <math>\frac{2}{3}</math>
| 1.014
|-
! Epanechnikov
| <math>K(u) = \frac{3}{4}(1-u^2) \,\mathbf{1}_{\{|u|\leq1\}}</math>
| [[File:Kernel epanechnikov.svg|150px]]
| &nbsp; <math>\frac{1}{5}</math>
| &nbsp; <math>\frac{3}{5}</math>
| 1.000
|-
! Quartic <br />(biweight)
| <math>K(u) = \frac{15}{16}(1-u^2)^2 \,\mathbf{1}_{\{|u|\leq1\}}</math>
| [[File:Kernel quartic.svg|150px]]
| &nbsp; <math>\frac{1}{7}</math>
| &nbsp; <math>\frac{5}{7}</math>
| 1.006
|-
! Triweight
| <math>K(u) = \frac{35}{32}(1-u^2)^3 \,\mathbf{1}_{\{|u|\leq1\}}</math>
| [[File:Kernel triweight.svg|150px]]
| &nbsp; <math>\frac{1}{9}</math>
| &nbsp; <math>\frac{350}{429}</math>
| 1.013
|-
! Tricube
| <math>K(u) = \frac{70}{81}(1- {\left| u \right|}^3)^3 \,\mathbf{1}_{\{|u|\leq1\}}</math>
| [[File:Kernel tricube.svg|150px]]
| &nbsp; <math>\frac{35}{243}</math>
| &nbsp; <math>\frac{175}{247}</math>
| 1.002
|-
! [[正規分布|ガウシアン]]
| <math>K(u) = \frac{1}{\sqrt{2\pi}} \exp \left(-\frac{1}{2}u^2 \right)</math>
| [[File:Kernel exponential.svg|150px]]
| &nbsp; <math>1\,</math>
| &nbsp; <math>\frac{1}{2\sqrt\pi}</math>
| 1.051
|-
! コサイン
| <math>K(u) = \frac{\pi}{4}\cos\left(\frac{\pi}{2}u\right) \mathbf{1}_{\{|u|\leq1\}}</math>
| [[File:Kernel cosine.svg|150px]]
| &nbsp; <math>1-\frac{8}{\pi^2}</math>
| &nbsp; <math>\frac{\pi^2}{16}</math>
| 1.0005
|-
! [[ロジスティック分布|ロジスティック]]
| <math>K(u) = \frac{1}{e^{u}+2+e^{-u}}</math>
| [[File:Kernel logistic.svg|150px]]
| &nbsp; <math>\frac{\pi^2}{3}</math>
| &nbsp; <math>\frac{1}{6}</math>
| 1.127
|-
! Silverman カーネル<ref>{{cite book |last=Silverman |first=B. W. |year=1986 |title=Density Estimation for Statistics and Data Analysis | publisher = Chapman and Hall, London}}</ref>
| <math>K(u) = \frac{1}{2} \exp \left(-\frac{|u|}{\sqrt{2}} \right) \sin\left( \frac{|u|}{\sqrt{2}}+\frac{\pi}{4}\right)</math>
| [[File:Kernel Silverman.svg|150px]]
| &nbsp; <math>0</math>
| &nbsp; <math>\frac{3\sqrt{2}}{16}</math>
| 適用できない
|} 
* 効率性は  <math>\left(\int u^2 K(u)d u\right)^{1/2} \int K(u)^2 d u</math> によって定義される。

==== 上述したカーネルの一部を、同一の座標に表示した図 ====
[[File:Kernels.svg|590px|All of the above kernels in a common coordinate system]]

== 関連項目 ==
*[[カーネル密度推定]]
*[[Kernel smoother]]
*[[Stochastic kernel]]
*[[Density estimation]]
*[[Multivariate kernel density estimation]]

{{More footnotes|date=May 2012}}

== 参考文献 ==
{{Reflist}}

*{{cite book
  | last = Li
  | first = Qi
  | authorlink =
  |author2=Racine, Jeffrey S.
   | title = Nonparametric Econometrics: Theory and Practice
  | publisher = Princeton University Press
  | year = 2007
  | location = 
  | pages =
  | url =
  | doi =
  | id =  
  | isbn =  0-691-12161-3}}

*{{cite web
|last=Zucchini
|first=Walter
|title=APPLIED SMOOTHING TECHNIQUES Part 1: Kernel Density Estimation
|url=http://www.statoek.wiso.uni-goettingen.de/veranstaltungen/ast/ast_part1.pdf|accessdate=12 August 2015}}

*{{cite journal|year=2002
|first1=D|last1=Comaniciu|first2= P|last2= Meer
|title=Mean shift: A robust approach toward feature space analysis
|journal=IEEE Transactions on Pattern Analysis and Machine Intelligence| volume= 24| issue= 5|pages= 603–619
|id = {{citeseerx|10.1.1.76.8968}} |doi=10.1109/34.1000236}}

{{統計学}}
{{デフォルトソート:かあねる}}
[[Category:統計学]]
[[Category:時系列分析]]
[[Category:ベイズ統計]]