ベイズ統計学のソースを表示

{{ベイズ統計学}}
'''ベイズ統計学'''（ベイズとうけいがく、{{lang-en-short|Bayesian statistics}}）は、[[ベイズ確率|確率のベイズ的解釈]]に基づく[[統計学]]（および[[理論]]）を指す。

* この[[ベイズ確率|確率のベイズ的解釈]]では、対象の[[変数 (数学)|変数]]に関する[[確率]]（[[確率分布|分布]]）は[[事象 (確率論)|事象]]における[[直観的信頼度]]<!--degree of belief-->（仮説モデルの信頼度）を表す。したがって[[パラメーター]]変数に対しても確率であるとし固定値と捉えない特徴を持つ。
* さらにこの確率は新たに集めた現実の情報・データを取り込むことでより尖鋭型へ更新され、したがって事実を忠実に反映する働きと捉える<ref>{{Cite web|url=https://deepai.org/machine-learning-glossary-and-terms/bayesian-statistics|title=What are Bayesian Statistics?|last=|first=|date=|website=deepai.org|archive-url=|archive-date=|dead-url=|accessdate=2019-02-22}}</ref>。直観的信頼度は、以前の実験の結果や事象に関する個人的信頼度といった事象に関する事前知識に基づいてよい。
* 上記は数多くの他の{{仮リンク|確率の解釈|en|Probability interpretations}}に基づく[[統計学]]理論とは異なる。例えば、[[頻度主義統計学|頻度主義の解釈]]では、確率を多数の試行後の事象の相対的頻度の[[数列の極限|極限]]と見なす<ref name="bda">{{Cite book| title = Bayesian Data Analysis, Third Edition | publisher = Chapman and Hall/CRC | year = 2013 | isbn = 978-1-4398-4095-5|last1=Gelman|first1=Andrew|last2=Carlin|first2=John B.|last3=Stern|first3=Hal S.|last4=Dunson|first4=David B.|last5=Vehtari|first5=Aki|last6=Rubin|first6=Donald B.}}</ref>。また[[パラメーター]]変数は固定値と捉えることを原則とする。

ベイズ統計的手法は、新たなデータを得た後に確率を計算および更新するために[[ベイズの定理]]を用いる。ベイズの定理は、データに基づく事象の[[条件付き確率]]や事象に関する事前情報または直観的信頼度、事象に関連した条件を説明する。例えば、[[ベイズ推定]]において、ベイズの定理を[[確率分布]]または[[統計モデル]]のパラメータを見積るために使うことができる。ベイズ統計学は確率を直感的信頼度として扱うため、ベイズの定理はパラメータまたはパラメータのセットに対して、信頼度を定量化する確率分布を直接的に割当てることができる<ref name="bda" />。

ベイズ統計学という名称は、1763年に発表された{{仮リンク|偶然論における一問題を解くための試論|en|An Essay towards solving a Problem in the Doctrine of Chances|label=論文}}においてベイズの理論の特殊な場合を定式化した[[トーマス・ベイズ]]に因む。18世紀末から19世紀初頭にわたるいくつかの論文において、[[ピエール＝シモン・ラプラス]]は確率のベイズ的解釈を発展させた。ラプラスは、数多くの統計問題を解くためにベイズ的手法と現在は見なされるであろう手法を用いた。多くのベイズ的手法は後の執筆者らによって発展されたが、この用語は1950年代までこういった手法を言い表すためには一般的に用いれらなかった。20世紀の大半、ベイズ的手法は哲学的および実践的判断により多くの統計学者によって好まれなかった。多くのベイズ的手法は完了するのに多くの計算を必要とし、20世紀に広く用いられたほとんどの手法は頻度主義的解釈に基づいていた。しかしながら、強力な計算機と[[マルコフ連鎖モンテカルロ法]]のような新たな[[アルゴリズム]]の出現によって、ベイズ的手法は21世紀に入り統計学内において利用の増加が見られてきている<ref name="bda" /><ref>{{cite journal |last1=Fienberg |first1=Stephen E. |title=When Did Bayesian Inference Become "Bayesian"? |date=2006|journal=Bayesian Analysis|volume=1|issue=1|pp=1–40|url=https://projecteuclid.org/euclid.ba/1340371071}}</ref>。

==ベイズの定理==
{{Main|ベイズの定理}}
ベイズの定理はベイズ統計学における基本定理である。ベイズの定理は新たなデータを得た後に確率（直感的信頼度）を更新するためにベイズ的手法によって用いられる。2つの事象<math>A</math>と<math>B</math>を考えると、<math>B</math>が真であると仮定したと時の<math>A</math>の条件付き確率は以下の式で表わされる<ref name="grinsteadsnell2006">{{cite book |last1=Grinstead |first1=Charles M. |last2=Snell |first2=J. Laurie |title=Introduction to probability |date=2006 |publisher=American Mathematical Society |location=Providence, RI |isbn=978-0-8218-9414-9 |edition=2nd}}</ref>（<math>P(B) \neq 0</math>）。

<math>P(A \mid B) = \frac{P(B \mid A)P(A)}{P(B)}</math>

ベイズの定理は[[確率論]]の基本的結果であるものの、ベイズ統計学においては明確な解釈を持つ。上記の式において、<math>A</math>は大抵は[[命題]]（硬貨が50%の確率で表面から着地するとする宣言といったようなもの）、<math>B</math> は考慮に入れられるべき証拠（エビデンス）または新たなデータ（一連のコイン投げの結果といったようなもの）を表わす。<math>P(A)</math>は<math>A</math>の[[事前確率]]であり、証拠が考慮に入れられる前の<math>A</math>に関する直感的信頼を表わす。<math>P(B \mid A)</math>は[[尤度関数]]であり、<math>A</math>が真であると仮定した時の証拠<math>B</math>の確率と解釈することができる。この尤度は、証拠<math>B</math>が命題<math>A</math>を支持する度合いを定量する。<math>P(A \mid B)</math>は[[事後確率]]であり、証拠<math>B</math>を考慮に入れた後の命題<math>A</math>の確率である。原則的に、ベイズの定理は新たな証拠<math>B</math>を考慮した後に事前の直感的信頼度<math>P(A)</math>を更新する<ref name="bda" />。

証拠の確率<math>P(B)</math>は{{仮リンク|全確率の公式|en|Law of total probability}}を使って計算できる。<math>\{A_1, A_2, \dots, A_n\}</math>が[[標本空間]]（実験の全ての[[結果 (確率論)|結果]]一式）の[[集合の分割|分割]]であるとすると、以下のようになる<ref name="bda" /><ref name="grinsteadsnell2006" />。

<math>P(B) = P(B \mid A_1)P(A_1) + P(B \mid A_2)P(A_2) + \dots + P(B \mid A_n)P(A_n) = \sum_i P(B \mid A_i)P(A_i)</math>

無限の数の結果が存在する時、全確率の公式を使って<math>P(B)</math>を計算するためには全ての結果にわたって[[積分]]する必要がある。しばしば、この計算は評価に多大な時間を必要とする加算または積分を含むため、 <math>P(B)</math>は計算が難しく、そのためしばしば事前確率と尤度の積のみが考慮される。これは、証拠が同じ分析中では変化しないためである。事後分布はこの積に比例する<ref name="bda" />。

<math>P(A \mid B) \propto P(B \mid A)P(A)</math>

事後確率の[[最頻値]]であり、しばしば[[数理最適化]]手法を使ってベイズ統計学において計算される[[最大事後確率]]は同じままである。事後確率はマルコフ連鎖モンテカルロ法または{{仮リンク|変分ベイズ法|en|Variational Bayesian methods}}といった手法を使うことで<math>P(B)</math>の厳密値を計算せずに近似することができる<ref name="bda" />。

==ベイズ的手法の概要==
一般的な統計的技術は多くの活動に分割することができ、それらの多くが特別なベイズ統計版を有する。

=== ベイズ推定===
{{Main|ベイズ推定}}
ベイズ推定は、推定における不確かさが確率を使って定量化される[[推計統計学|統計的推定]]を指す。古典的な{{仮リンク|頻度主義的推定|en|Frequentist inference}}では、モデルのパラメータと仮説は固定と見なされる。確率は頻度主義的推定においてはパラメータまたは仮説に割り当てられない。例えば、頻度主義的推定においては、公正な硬貨を次に投げた時の結果といった一度しか起こりえない事象へ直接的に確率を割り当てることは意味をなさない。しかしながら、表が出る割合が[[コイントス|硬貨投げ]]の回数が増加するにつれて[[大数の法則|2分の1に近付く]]と述べることは意味をなす<ref name="wakefield2013">{{cite book |last1=Wakefield |first1=Jon |title=Bayesian and frequentist regression methods |date=2013 |publisher=Springer |location=New York, NY |isbn=978-1-4419-0924-4}}</ref>。

[[統計モデル]]は、いかに標本データが生成されるかを表わす一連の統計的仮定および過程を規定する。統計モデルは修正可能な数多くのパラメータを持つ。例えば、硬貨は[[ベルヌーイ分布]]からの標本として表わすことができ、これは2つの可能な結果をモデル化している。ベルヌーイ分布は一方の結果の確率に等しい単一のパラメータを有し、ほとんどの場合これは表が着地する確率である。データに対するよいモデルを考案することがベイズ推計において中心となる。ほとんどの場合において、モデルは真の過程を近似するだけであり、データに影響する特定の因子を考慮に入れない<ref name="bda" />。ベイズ推計において、確率はモデルのパラメータに割り当てることがでできる。パラメータは[[確率変数]]として表わすことができる。ベイズ推計はより多くの証拠が得られたまたは知られた後に確率を更新するためにベイズの定理を用いる<ref name="bda" /><ref name="congdon2014">{{cite book |last1=Congdon |first1=Peter |title=Applied Bayesian modelling |date=2014 |publisher=Wiley |isbn=978-1119951513 |edition=2nd}}</ref>。

===統計モデリング===
ベイズ統計学を用いた統計モデルの定式化は、あらゆる未知のパラメータについて[[事前確率]]の指定を必要とする特徴を有する。実際、事前分布のパラメータそれら自身が事前分布を持ちうる（これが[[階層ベイズモデル]]につながる<ref name=":bmdl">Hajiramezanali, E. & Dadaneh, S. Z. & Karbalayghareh, A. & Zhou, Z. & Qian, X. Bayesian multi-domain learning for cancer subtype discovery from next-generation sequencing count data. 32nd Conference on Neural Information Processing Systems (NIPS 2018), Montréal, Canada. https://arxiv.org/pdf/1810.09433.pdf</ref>）、あるいはそれら自身が相互に関係しうる（これが[[ベイジアンネットワーク]]につながる）。

===実験計画法===
{{仮リンク|ベイズ実験計画法|en|Bayesian experimental design}}は「事前信念の影響（influence of prior beliefs）」と呼ばれる概念を含む。この手法は次の実験の設計においてそれ以前の事件の結果を含めるために{{仮リンク|逐次分析|en|Sequential analysis}}技術を用いる。これは、事前および事後分布の使用により「直感的信頼度（beliefs、信念）」を更新することによって達成される。これにより、実験計画法は全ての種類の資源を有効に利用することが可能となる。この一例が[[多腕バンディット問題]]である。

===統計グラフィックス===
{{仮リンク|統計グラフィックス|en|Statistical graphics}}は、データ探索、モデル検証、その他の目的のための手法を含む。ベイズ推定のためのある計算技術、具体的に言うと様々な種類の[[マルコフ連鎖モンテカルロ法]]を使用すると、必要な事後分布を表わすうえでこういった計算の妥当性のチェックが必要となり、これはしばしば視覚的（グラフィカル）な形式で行われる。

==出典==
{{脚注ヘルプ}}
{{reflist}}

==関連文献==
* {{cite book| author=Jordi Vallverdu | title = Bayesians Versus Frequentists A Philosophical Debate on Statistical Reasoning | url=https://www.springer.com/gp/book/9783662486368}|isbn=978-3-662-48638-2|year=2016|publisher= Springer|edition=1st}}
*{{cite journal|last1=van de Schoot|first1=Rens|last2=Kaplan|first2=David|last3=Denissen|first3=Jaap|last4=Asendorpf|first4=Jens B.|last5=Neyer|first5=Franz J.|last6=van Aken|first6=Marcel A.G.|title=A Gentle Introduction to Bayesian Analysis: Applications to Developmental Research|journal=Child Dev.|volume=85|issue=3|year=2014|pages=842–860|pmid= 24116396 |pmc=4158865 |doi=10.1111/cdev.12169}}
* {{Cite journal|date=May 2015|title=Bayesian Statistics|url=http://www.nature.com/nmeth/journal/v12/n5/full/nmeth.3368.html|department=Points of Significance|journal=Nature Methods|volume=12|issue=5|pages=377–8|doi=10.1038/nmeth.3368|pmid=|access-date=31 May 2016|vauthors=Puga JL, Krzywinski M, Altman N}}
* 樋口 知之：「予測にいかす統計モデリングの基本―ベイズ統計入門から応用まで」、講談社、ISBN 978-4061557956（2011年4月7日）。
* 渡辺澄夫：「ベイズ統計の理論と方法」、コロナ社、ISBN 978-4339024623（2012年3月）。
* 豊田秀樹：「基礎からのベイズ統計学　: ハミルトニアンモンテカルロ法による実践的入門」、朝倉書店、ISBN: 978-4254122121（2015年6月25日）。
* 佐藤忠彦、樋口知之：「ビッグデータ時代のマーケティング―ベイジアンモデリングの活用」、講談社、ISBN 978-4061573024（2013年1月22日）。
* 間瀬茂：「ベイズ法の基礎と応用 ：条件付き分布による統計モデリングとMCMC法を用いたデータ解析」、日本評論社、ISBN 978-4535787858（2016年2月6日）。

==外部リンク==
{{Wikiversitylang|en|Bayesian statistics}}
* {{cite web| author=Eliezer S. Yudkowsky | title = An Intuitive Explanation of Bayes' Theorem | url=http://www.yudkowsky.net/rational/bayes|type=webpage|accessdate=2015-06-15}}
* {{cite web| author=Theo Kypraios| title=A Gentle Tutorial in Bayesian Statistics| url=https://kupdf.com/download/a-gentle-tutorial-in-bayesian-statisticspdf_59b0ed86dc0d602e3b568edc_pdf| type=PDF| accessdate=2013-11-03}}
* [http://www.scholarpedia.org/article/Bayesian_statistics Bayesian statistics] [[David Spiegelhalter]], Kenneth Rice [[Scholarpedia]] 4(8):5230. [[doi:10.4249/scholarpedia.5230]]
* [https://bayesmodels.com/ Bayesian modeling book] and examples available for downloading.
* [https://marketing.dynamicyield.com/bayesian-calculator/ Bayesian A/B Testing Calculator] [[Dynamic Yield]]
* [https://greenteapress.com/wp/think-bayes/ Think Bayes, Allen B. Downey]
* [http://blog.efpsa.org/2015/08/03/bayesian-statistics-why-and-how/ Bayesian Statistics: Why and How]

{{統計学}}
{{DEFAULTSORT:へいすとうけいかく}}
[[Category:ベイズ統計]]
[[Category:トーマス・ベイズ]]
[[Category:数学のエポニム]]
[[Category:数学に関する記事]]