P値のソースを表示

{{小文字}}
帰無仮説の[[統計的仮説検定|有意性検定]]において、'''''p''値'''（ピーち、''p''-value{{NoteTag|1=用語のイタリック体、大文字、ハイフンの使用法はさまざまである。たとえば、[[:en:AMA style|AMAスタイル]]では"''P'' value"、[[APAスタイル]]では"''p'' value"、[[アメリカ統計学会]]（ASA）では"''p''-value"と表記する。いずれの場合も「p」は確率（probability）を表す。<ref>{{cite web | title = ASA House Style | url = http://magazine.amstat.org/wp-content/uploads/STATTKadmin/style%5B1%5D.pdf | work = Amstat News | publisher = American Statistical Association | accessdate = 2022-02-05 }}</ref>}}）は、[[帰無仮説]]が正しいという仮定の下で、[[観測値 (確率論)|実際に観察された結果]]と少なくとも同じくらい極端な検定結果を得る確率である<ref>{{cite web | author = Aschwanden C | author-link = :en:Christie Aschwanden | title = Not Even Scientists Can Easily Explain P-values | url = https://fivethirtyeight.com/features/not-even-scientists-can-easily-explain-p-values/ | website = FiveThirtyEight | access-date = 11 October 2019 | archive-url = https://web.archive.org/web/20190925221600/https://fivethirtyeight.com/features/not-even-scientists-can-easily-explain-p-values/ | archive-date = 25 September 2019 | date = 2015-11-24 }}</ref><ref name="ASA">{{cite journal | author1 = Wasserstein RL | author2 = Lazar NA |date= 7 March 2016 |title = The ASA's Statement on p-Values: Context, Process, and Purpose |journal= The American Statistician |volume = 70 |issue = 2 |pages = 129–133 |doi= 10.1080/00031305.2016.1154108 |doi-access = free }}</ref>。''p''値が非常に小さいことは、そのような極端な観測[[結果 (確率論)|結果]]は帰無仮説の下では極めて起こりにくいことを意味する。多くの定量的な分野の[[学術出版|学術出版物]]では、統計的検定の ''p''値が一般的に報告されているにもかかわらず、''p''値の誤った解釈や {{Ill2|p値の誤用|en|Misuse of p-values|label=''p''値の誤用}}が広く見られ、数学や{{Ill2|メタサイエンス|en|Metascience}}の主要な課題となっている<ref>{{cite journal | author1 = Hubbard R | author2 = Lindsay RM |title=Why ''P'' Values Are Not a Useful Measure of Evidence in Statistical Significance Testing |journal=[[:en:Theory & Psychology|Theory & Psychology]] |year=2008 |volume=18 |issue=1 |pages=69–88 |doi=10.1177/0959354307086923 |s2cid=143487211 }}</ref><ref>{{cite journal | author1 = Munafò MR | author2 = Nosek BA | author3 = Bishop DV | author4 = Button KS | author5 = Chambers CD | author6 = du Sert NP | author7 = Simonsohn U | author8 = Wagenmakers EJ | author9 = Ware JJ | author10 = Ioannidis JP | display-authors = 6 | title = A manifesto for reproducible science | journal = Nature Human Behaviour | volume = 1 | pages = 0021 | date = January 2017 | issue = 1 | pmid = 33954258 | pmc = 7610724 | doi = 10.1038/s41562-016-0021 | s2cid = 6326747 | doi-access = free | author10-link = ジョン・P・A・ヨアニディス }}</ref>。2016年、[[アメリカ統計学会]]（ASA）は正式な声明を発表し、「''p''値は、研究対象となった仮説が正しい確率や、データが偶然だけで生じた確率を測定するものではない」と述べ、「''p''値、すなわち[[統計的有意性]]は、効果の大きさや結果の重要性を測定するものではない」または「モデルや仮説に関する証拠」ではないとした<ref>{{Cite journal |last1=Wasserstein |first1=Ronald L. |last2=Lazar |first2=Nicole A. |date=2016-04-02 |title=The ASA Statement on p -Values: Context, Process, and Purpose |journal=The American Statistician |language=en |volume=70 |issue=2 |pages=129–133 |doi=10.1080/00031305.2016.1154108 |s2cid=124084622 |issn=0003-1305 |doi-access=free }}</ref>。しかし、ASAのタスクフォースは2019年に、統計的有意性と再現性に関する声明を発表し、「''p''値および有意性検定は、適切に用いられ解釈された場合、データから導き出される結論の厳密性を高めることができる」と結論づけている<ref name="ASA2019">{{cite journal | last1=Benjamini | first1=Yoav | last2=De Veaux | first2=Richard D. | last3=Efron | first3=Bradley | last4=Evans | first4=Scott | last5=Glickman | first5=Mark | last6=Graubard | first6=Barry I. | last7=He | first7=Xuming | last8=Meng | first8=Xiao-Li | last9=Reid | first9=Nancy M. | last10=Stigler | first10=Stephen M. | last11=Vardeman | first11=Stephen B. | last12=Wikle | first12=Christopher K. | last13=Wright | first13=Tommy | last14=Young | first14=Linda J. | last15=Kafadar | first15=Karen | title=ASA President's Task Force Statement on Statistical Significance and Replicability | journal=Chance | publisher=Informa UK Limited | volume=34 | issue=4 | date=2021-10-02 | issn=0933-2480 | doi=10.1080/09332480.2021.2003631 | pages=10–11 | doi-access=free }}</ref>。

== 基本概念 ==
統計学では、ある研究における観測データ <math>X</math> を表す確率変数の集合について、未知の[[確率分布]]に関するあらゆる推測を[[統計的仮説検定|統計的仮説]]（statistical hypothesis）と呼ぶ。統計的検定の目的が、一つだけ述べた仮説が妥当であるかどうかを検証することであって、別の特定の仮説を検証することではない場合、そのような検定は[[統計的仮説検定|帰無仮説検定]]（null hypothesis test、棄却検定とも）と呼ばれる。

定義上、統計的仮説とは、分布の何らかの特徴を指すものであり、[[帰無仮説]]とは、その特徴が存在しないというデフォルト仮説<!-- default hypothesis-->を指す。通常、帰無仮説は、関心のある[[母集団]]の何らかのパラメータ（相関や平均値の差など）が 0 であるという仮説である。その仮説は、<math>X</math> の確率分布を正確に特定する場合もあれば、<math>X</math> がある分布のクラスに属することだけを特定する場合もある。多くの場合、データは単一の数値統計（<math>T</math> など）に単純化され、その[[周辺確率分布]]は研究における主な関心事と密接に関連している。

''p''値は、選定した統計量 <math>T</math> の観測結果の[[統計的有意性]]を定量化するために、帰無仮説検定の文脈で使用される{{NoteTag|結果の統計的有意性は、結果が現実世界でも当てはまることを意味するわけではない。たとえば、ある薬が統計的に有意な効果を持っていたとしても、その効果が小さすぎて意味がないこともある。}}。''p''値が低いほど、帰無仮説が正しい場合に、その結果を得る確率が低いことを意味する。帰無仮説を棄却できる場合、その結果は統計的に有意（statistically significant）であると見なされる。他の条件がすべて同じであれば、''p''値が小さいほど、帰無仮説を否定するより強い証拠と見なされる。

大まかに言えば、帰無仮説の棄却は、それとは反対の十分な証拠があることを意味する。

一例として、「ある要約統計量 <math>T</math> が[[標準正規分布]] <math>\mathcal N(0, 1)</math> に従う」という帰無仮説が立てられた場合、この帰無仮説を棄却するということは、(1) <math>T</math> の平均が 0 ではない、(2) <math>T</math> の[[分散 (確率論)|分散]]が 1 ではない、(3) <math>T</math> が正規分布に従わない、のいずれかを意味する可能性がある。同じ帰無仮説に対する異なる検定は、[[対立仮説]]に対しする感度がそれぞれ異なる。しかし、3つの対立仮説すべてが帰無仮説を棄却でき、その分布が正規分布で分散が 1であると分かっていたとしても、帰無仮説検定では、平均が非 0 の値のうち、どれが最も妥当であるかはわからない。同じ確率分布に従う独立した観測値が多ければ多いほど、その検定の精度は向上し、平均値を正確に決定し、それが 0 でないことを示す精度も高くなる。それだけでなく、この偏差の現実世界あるいは科学的な妥当性の評価に与えられる重みも高まる。

== 定義と解釈 ==
=== 定義 ===
''p''値は、帰無仮説の下で、実際の検定統計量と少なくとも同じくらい極端な検定統計量が得られる確率である。未知の分布 <math>T</math> から観測された検定統計量 <math>t</math> を考える。この場合、''p''値 <math>p</math> は、帰無仮説 <math>H_0</math> が真である場合に、検定統計量が <math>t</math> と同じくらい「極端」な値になる[[事前確率]]である。すなわち、

*<math>p = \Pr(T \geq t \mid H_0)</math> 検定統計量の分布が右片側の場合、
* <math>p = \Pr(T \leq t \mid H_0)</math> 検定統計量の分布が左片側の場合、
* <math>p = 2\min\{\Pr(T \geq t \mid H_0),\Pr(T \leq t \mid H_0)\} </math> 検定統計量の分布が両側の場合となる。もし <math>T</math> の分布が 0 を中心に対称であれば、<math>p = \Pr(|T| \geq |t| \mid H_0)</math> となる。

=== 解釈 ===
{{blockquote |text=実践的な統計学者がもっとも避けるべきと考える過誤（主観的なもの）は[[第一種過誤|第一種の過誤]]である。数学理論の第一の要件は、第一種の過誤を犯す確率が、あらかじめ定められた数 α（たとえば α = 0.05 や 0.01 など）に等しい（またはほぼ等しい、または超えない）ことを保証する検定基準を導き出すことである。この数字を有意水準と呼ぶ。 |author=Jerzy Neyman |source="The Emergence of Mathematical Statistics"<ref name="Neyman1976">{{cite book | chapter = The Emergence of Mathematical Statistics: A Historical Sketch with Particular Reference to the United States | title = On the History of Statistics and Probability | page = 161 | year = 1976 | last = Neyman | first = Jerzy | author-link = イェジ・ネイマン | place = New York | publisher = Marcel Dekker Inc | editor-last = Owen | editor-first = D.B. | series = Textbooks and Monographs | url = https://openlibrary.org/works/OL18334563W/On_the_history_of_statistics_and_probability?edition=key%3A/books/OL5206547M}}</ref>}}有意差検定では、''p''値が事前に設定した閾値 [[:en:Alpha|<math>\alpha</math>]] を下回る場合、帰無仮説 <math>H_0</math> は棄却される。この [[:en:Alpha|<math>\alpha</math>]] は、[[:en:Alpha|<math>\alpha</math>]]水準または[[有意水準]]（significance level）と呼ばれる。<math>\alpha</math> はデータから導かれるものではなく、データを調べる前に研究者が設定する。<math>\alpha</math> は通常 0.05 に設定されるが、より小さな <math>\alpha</math>水準が使用されることもある。2018年、ダニエル・ベンジャミン率いる統計学者グループが、統計的有意性の世界標準値として 0.005 を採用する提案をした<ref name="BenjaminBergerJohannesson2017">{{cite journal | last1 = Benjamin | first1 = Daniel J. | last2 = Berger | first2 = James O. | last3 = Johannesson | first3 = Magnus | last4 = Nosek | first4 = Brian A. | last5 = Wagenmakers | first5 = E.-J. | last6 = Berk | first6 = Richard | last7 = Bollen | first7 = Kenneth A. | last8 = Brembs | first8 = Björn | last9 = Brown | first9 = Lawrence | last10 = Camerer | first10 = Colin | last11 = Cesarini | first11 = David | last12 = Chambers | first12 = Christopher D. | last13 = Clyde | first13 = Merlise | last14 = Cook | first14 = Thomas D. | last15 = De Boeck | first15 = Paul | last16 = Dienes | first16 = Zoltan | last17 = Dreber | first17 = Anna | last18 = Easwaran | first18 = Kenny | last19 = Efferson | first19 = Charles | last20 = Fehr | first20 = Ernst | last21 = Fidler | first21 = Fiona | last22 = Field | first22 = Andy P. | last23 = Forster | first23 = Malcolm | last24 = George | first24 = Edward I. | last25 = Gonzalez | first25 = Richard | last26 = Goodman | first26 = Steven | last27 = Green | first27 = Edwin | last28 = Green | first28 = Donald P. | last29 = Greenwald | first29 = Anthony G. | last30 = Hadfield | first30 = Jarrod D. | last31 = Hedges | first31 = Larry V. | last32 = Held | first32 = Leonhard | last33 = Hua Ho | first33 = Teck | last34 = Hoijtink | first34 = Herbert | last35 = Hruschka | first35 = Daniel J. | last36 = Imai | first36 = Kosuke | last37 = Imbens | first37 = Guido | last38 = Ioannidis | first38 = John P. A. | last39 = Jeon | first39 = Minjeong | last40 = Jones | first40 = James Holland | last41 = Kirchler | first41 = Michael | last42 = Laibson | first42 = David | last43 = List | first43 = John | last44 = Little | first44 = Roderick | last45 = Lupia | first45 = Arthur | last46 = Machery | first46 = Edouard | last47 = Maxwell | first47 = Scott E. | last48 = McCarthy | first48 = Michael | last49 = Moore | first49 = Don A. | last50 = Morgan | first50 = Stephen L. | last51 = Munafó | first51 = Marcus | last52 = Nakagawa | first52 = Shinichi | last53 = Nyhan | first53 = Brendan | last54 = Parker | first54 = Timothy H. | last55 = Pericchi | first55 = Luis | last56 = Perugini | first56 = Marco | last57 = Rouder | first57 = Jeff | last58 = Rousseau | first58 = Judith | last59 = Savalei | first59 = Victoria | last60 = Schönbrodt | first60 = Felix D. | last61 = Sellke | first61 = Thomas | last62 = Sinclair | first62 = Betsy | last63 = Tingley | first63 = Dustin | last64 = Van Zandt | first64 = Trisha | last65 = Vazire | first65 = Simine | last66 = Watts | first66 = Duncan J. | last67 = Winship | first67 = Christopher | last68 = Wolpert | first68 = Robert L. | last69 = Xie | first69 = Yu | last70 = Young | first70 = Cristobal | last71 = Zinman | first71 = Jonathan | last72 = Johnson | first72 = Valen E. | title = Redefine statistical significance | journal = Nature Human Behaviour | date = 1 September 2017 | volume = 2 | issue = 1 | pages = 6–10 | eissn = 2397-3374 | doi = 10.1038/s41562-017-0189-z | pmid = 30980045 | s2cid = 256726352 | hdl = 10281/184094 | hdl-access = free }}</ref>。

独立したデータセットに基づく異なる ''p''値どうしは、たとえば{{Ill2|フィッシャーの手法|en|Fisher's method|label=フィッシャーの結合確率検定}}を使用して組み合わせることができる。

=== 分布 ===
''p''値は、選定された検定統計量 <math>T</math> の関数であるため、[[確率変数]]である。帰無仮説が <math>T</math> の確率分布を正確に定義している場合（例：<math>H_0: \theta = \theta_0,</math> ここで <math>\theta</math> は唯一のパラメータ）、その分布が連続的である場合、帰無仮説が真であれば ''p''値は 0 から 1 の間の[[連続一様分布|一様分布]]となる。<math>H_0</math> の真偽に関わらず、''p''値は固定値ではない。同じ検定を新しいデータで独立して繰り返した場合、通常、各反復で異なる ''p''値が得られる。

通常、ある仮説に関連して観察される ''p''値は 1つだけであるため、''p''値は有意差検定によって解釈され、''p''値の分布を推定する試みはなされない。''p''値の集合が利用可能な場合（例：同じ主題に関する一連の研究の検証）、''p''値の分布は ''p''曲線（''p''-curve）と呼ばれることがある<ref name="Head2015">{{cite journal | author1 = Head ML | author2 = Holman L | author3 = Lanfear R | author4 = Kahn AT | author5 = Jennions MD | title = The extent and consequences of p-hacking in science | journal = PLOS Biology | volume = 13 | issue = 3 | pages = e1002106 | date = March 2015 | pmid = 25768323 | pmc = 4359000 | doi = 10.1371/journal.pbio.1002106 | doi-access = free }}</ref>。''p''曲線は、[[出版バイアス]]や {{Ill2|データドレッディング|en|Data dredging|label=p値ハッキング}}を検出するなど、科学文献の信頼性を評価するために使用されることがある<ref name="Head2015" /><ref name="Simonsohn2014">{{cite journal | author1 = Simonsohn U | author2 = Nelson LD | author3 = Simmons JP | title = ''p''-Curve and Effect Size: Correcting for Publication Bias Using Only Significant Results | journal = Perspectives on Psychological Science | volume = 9 | issue = 6 | pages = 666–681 | date = November 2014 | pmid = 26186117 | doi = 10.1177/1745691614553988 | s2cid = 39975518 }}</ref>。

=== 複合仮説の分布===
パラメトリック仮説検定問題では、単純仮説または点仮説<!-- simple or point hypothesis -->とは、パラメータの値が単一の数値であると想定する仮説である。これに対し、複合仮説（composite hypothesis{{Enlink|Statistical hypothesis test#Definition of terms|英語版|en}}）では、パラメータは一連の数値によって表される。帰無仮説が複合仮説である場合（または統計量の分布が離散的である場合）、帰無仮説が真であれば、0 から 1 までの任意の数値以下となる ''p''値を得る確率は、それらの数を依然として下回る{{訳語疑問点|date=2024年7月|原文: When the null-hypothesis is composite (or the distribution of the statistic is discrete), then when the null-hypothesis is true the probability of obtaining a p-value less than or equal to any number between 0 and 1 is still less than or equal to that number.}}。言い換えれば、帰無仮説が真である場合、非常に小さな ''p''値は比較的発生しにくく、また ''p''値が <math>\alpha</math> より小さい場合、帰無仮説を棄却することで <math>\alpha</math>水準での有意差があるという状況に変わりはない<ref name="Bhattacharya2002">{{cite journal | author1 = Bhattacharya B | author2 = Habtzghi D |s2cid = 33812107 |year = 2002 |title = Median of the p value under the alternative hypothesis |journal = The American Statistician |volume = 56 |issue = 3 |pages = 202–6 |doi = 10.1198/000313002146 }}</ref><ref name="Hung1997">{{cite journal | author1 = Hung HM | author2 = O'Neill RT | author3 = Bauer P | author4 = Köhne K | title = The behavior of the P-value when the alternative hypothesis is true | journal = Biometrics | volume = 53 | issue = 1 | pages = 11–22 | date = March 1997 | pmid = 9147587 | doi = 10.2307/2533093 | type = Submitted manuscript | jstor = 2533093 | url = https://zenodo.org/record/1235121 }}</ref>。

たとえば、ある分布が正規分布で平均値 0 以下であるという帰無仮説を、平均値が 0 より大きいという対立仮説（<math>H_0: \mu \leq 0</math>、分散は既知）に対して検定する場合、その帰無仮説は適切な検定統計量の正確な確率分布を特定しない。この例では、片側一標本 ''Z''検定に属する [[標準得点|''Z''統計量]]となる。理論平均値のとりうる値ごとに、''Z''検定統計量は異なる確率分布を持つ。このような状況では、''p''値は最も不利な帰無仮説の状況（通常は帰無仮説と対立仮説の境界線上にある）に基づいて定義される。この定義により、''p''値および α水準が相互に補完しあうことが保証される。<math>\alpha = 0.05</math> は、''p''値が 0.05 を下回る場合にのみ帰無仮説が棄却されることを意味し、その仮説検定の[[第一種過誤と第二種過誤|第一種過誤率]]は実際に 0.05 が上限となる。

== 使用法 ==
''p''値は、[[統計的仮説検定]]、特に帰無仮説の有意差検定において広く用いられている。この方法では、研究を行う前に、まずモデル（[[帰無仮説]]）と有意水準 α（一般的に0.05）が選択される。データを分析した後、''p''値が αより小さい場合、観察されたデータが帰無仮説と十分に矛盾していると見なされるため、帰無仮説は棄却される。しかし、これは帰無仮説が誤りであるということを証明するものではない。''p''値はそれ自体で仮説の確からしさを示すものではない。むしろ、''p''値は、帰無仮説を棄却すべきかどうかを判断する道具である<ref name="nature506">{{cite journal | author = Nuzzo R | author-link = :en:Regina Nuzzo | title = Scientific method: statistical errors | journal = Nature | volume = 506 | issue = 7487 | pages = 150–152 | date = February 2014 | pmid = 24522584 | doi = 10.1038/506150a | doi-access = free | bibcode = 2014Natur.506..150N }}</ref>。

=== 誤用 ===
{{Main|{{ill2|p値の誤用|en|Misuse of p-values}}}}
アメリカ統計学会（ASA）によると、''p''値は誤用され、誤って解釈されることが多いことが広く認められている<ref name="ASA" />。特に批判されているのは、他の裏付けとなる証拠がない場合に、名目上の ''p''値が 0.05 未満であれば対立仮説を受け入れるという慣行である。''p''値は、データが特定の統計モデルとどの程度矛盾しているかを評価するときに有用であるが、「研究の計画、測定の質、研究対象の現象に関する外的証拠、データ分析の基礎となる仮定の妥当性」などの状況的要因も考慮しなければならない<ref name="ASA" />。もう一つの懸念は、''p''値が帰無仮説が真である確率と誤解されることが多いことである<ref name="ASA" /><ref>{{cite journal | author = Colquhoun D | title = An investigation of the false discovery rate and the misinterpretation of p-values | journal = Royal Society Open Science | volume = 1 | issue = 3 | pages = 140216 | date = November 2014 | pmid = 26064558 | pmc = 4448847 | doi = 10.1098/rsos.140216 | arxiv = 1407.5296 | bibcode = 2014RSOS....140216C }}</ref>。

一部の統計学者は、''p''値を放棄し<ref name="ASA" />、[[信頼区間]]<ref>{{cite journal | author = Lee DK | title = Alternatives to P value: confidence interval and effect size | journal = Korean Journal of Anesthesiology | volume = 69 | issue = 6 | pages = 555–562 | date = December 2016 | pmid = 27924194 | pmc = 5133225 | doi = 10.4097/kjae.2016.69.6.555 }}</ref><ref>{{cite journal | author = Ranstam J | title = Why the P-value culture is bad and confidence intervals a better alternative | journal = Osteoarthritis and Cartilage | volume = 20 | issue = 8 | pages = 805–808 | date = August 2012 | pmid = 22503814 | doi = 10.1016/j.joca.2012.04.001 | doi-access = free }}</ref>、[[尤度比]]<ref>{{cite journal | author = Perneger TV | title = Sifting the evidence. Likelihood ratios are alternatives to P values | journal = BMJ | volume = 322 | issue = 7295 | pages = 1184–1185 | date = May 2001 | pmid = 11379590 | pmc = 1120301 | doi = 10.1136/bmj.322.7295.1184 }}</ref><ref>{{cite book | author = Royall R |chapter=The Likelihood Paradigm for Statistical Evidence |title = The Nature of Scientific Evidence |pages=119–152 |doi = 10.7208/chicago/9780226789583.003.0005 |language=en |year=2004 |isbn= 9780226789576 }}</ref>、[[ベイズ因子]]<ref>{{cite web | author = Schimmack U |title=Replacing p-values with Bayes-Factors: A Miracle Cure for the Replicability Crisis in Psychological Science |url = https://replicationindex.wordpress.com/2015/04/30/replacing-p-values-with-bayes-factors-a-miracle-cure-for-the-replicability-crisis-in-psychological-science/ |website=Replicability-Index |access-date=7 March 2017 |date=30 April 2015 }}</ref><ref>{{cite journal | author = Marden JI |title = Hypothesis Testing: From p Values to Bayes Factors |journal = Journal of the American Statistical Association |date=December 2000 |volume=95|issue=452 |pages=1316–1320 |doi = 10.2307/2669779 |jstor=2669779 }}</ref><ref>{{cite journal | author = Stern HS | title = A Test by Any Other Name: P Values, Bayes Factors, and Statistical Inference | journal = Multivariate Behavioral Research | volume = 51 | issue = 1 | pages = 23–29 | date = 16 February 2016 | pmid = 26881954 | pmc = 4809350 | doi = 10.1080/00273171.2015.1099032 }}</ref>などの他の推論統計に焦点を当てることを提案しているが、これらの代替案の実現可能性は激しい議論されている<ref>{{cite journal | author = Murtaugh PA | title = In defense of P values | journal = Ecology | volume = 95 | issue = 3 | pages = 611–617 | date = March 2014 | pmid = 24804441 | doi = 10.1890/13-0590.1 | bibcode = 2014Ecol...95..611M | url = https://zenodo.org/record/894459 }}</ref><ref>{{cite web |url=https://fivethirtyeight.com/features/statisticians-found-one-thing-they-can-agree-on-its-time-to-stop-misusing-p-values/ |title=Statisticians Found One Thing They Can Agree On: It's Time To Stop Misusing P-Values |author=Aschwanden C |author-link=:en:Christie Aschwanden |website=FiveThirtyEight |date=7 March 2016 |access-date=2016-03-09}}</ref>。また、固定された有意水準の閾値を撤廃し、''p''値を帰無仮説に対する証拠の強さを示す連続的な指標として解釈すべきだという意見もある<ref>{{cite journal | author1 = Amrhein V | author1-link=:en:Valentin Amrhein | author2=Korner-Nievergelt F | author3 = Roth T | title = The earth is flat (''p'' > 0.05): significance thresholds and the crisis of unreplicable research | journal = PeerJ | volume = 5 | pages = e3544 | year = 2017 | pmid = 28698825 | pmc = 5502092 | doi = 10.7717/peerj.3544 | doi-access = free }}</ref><ref>{{cite journal | author1 = Amrhein V | author1-link = :en:Valentin Amrhein | author2 = Greenland S | title = Remove, rather than redefine, statistical significance | journal = Nature Human Behaviour | volume = 2 | issue = 1 | pages = 4 | date = January 2018 | pmid = 30980046 | doi = 10.1038/s41562-017-0224-0 | s2cid = 46814177 }}</ref>。また、偽陽性（すなわち、実質効果がない確率）のリスクを事前に設定した閾値（例：5%）未満に抑えるために必要な実質効果の事前確率を ''p''値とともに報告するという提案もあった<ref>{{cite journal | author = Colquhoun D | title = The reproducibility of research and the misinterpretation of ''p''-values | journal = Royal Society Open Science | volume = 4 | issue = 12 | pages = 171085 | date = December 2017 | pmid = 29308247 | pmc = 5750014 | doi = 10.1098/rsos.171085 }}</ref>。

そうとはいえ、2019年にASAのタスクフォースが招集され、科学的研究における統計的手法の使用、特に仮説検定と ''p''値、および再現可能性との関連性について検討された<ref name="ASA2019" />。タスクフォースは、「不確実性のさまざまな尺度は互いに補完し合うものであり、単一の尺度ですべての目的を果たすことはできない。」と述べ、その一つとして ''p''値をあげている。また、''p''値は特定の値について検討する場合だけでなく、ある閾値と比較する場合にも有用な情報を提供できることを強調している。一般的に「''p''値および有意差検定は、適切に用いられ解釈された場合、データから導き出される結論の厳密性を高めることができる」と強調している。

== 算出 ==
通常、<math>T</math> は[[検定統計量]]である。検定統計量は、観測されたすべての値による[[スカラー (数学)|スカラー]]関数の出力である。この統計量は、{{Ill2|t統計量|en|t-statistic|label=''t''統計量}}や [[F検定|''F''統計量]]などの単一の数値を示す。したがって、検定統計量は、それを定義する関数と入力観測データの分布によって決まる分布に従う。

データが正規分布からの無作為抽出サンプルであると仮定される重要なケースでは、検定統計量の特性とその分布に関する仮説に応じて、異なる帰無仮説検定が開発されている。そのような検定には、分散が既知の[[正規分布]]の平均に関する仮説に対する [[Z検定|''z''検定]]、分散が未知の正規分布の平均に関する仮説に対する適切な統計量 [[スチューデントのt分布|スチューデントの ''t''分布]]に基づく [[T検定|''t''検定]]、分散に関する仮説に対する別の統計量 [[F分布|''F''分布]]に基づく [[F検定|''F''検定]]などがある。カテゴリデータ（離散データ）などの他の特性を持つデータについては、[[ピアソンのカイ二乗検定]]{{Enlink|Pearson's chi-squared test|英語版|en}}のような、大規模な標本に対して[[中心極限定理]]を適用して得られる適切な統計量の正規近似に基づく帰無仮説分布と、それに基づく検定統計量が構築されることがある。

このように、''p''値を算出するには、帰無仮説、検定統計量（{{Ill2|片側および両側検定|en|One- and two-tailed tests|label=片側検定と両側検定}}を行うかどうかの研究者の決定を含む）、および観測データが必要である。あるデータに対する検定統計量の算出は簡単であっても、帰無仮説に基づく標本分布の算出や、[[累積分布関数]]（CDF）の算出はしばしば難しい問題となる。今日では、この計算は統計ソフトウェアを使用して行われ、多くの場合、厳密な数式ではなく[[数値解析]]が使用されるが、20世紀前半から半ばにかけては数値表を用いており、これらの離散値から ''p''値を内挿または外挿していた{{citation needed|date=March 2018}}。フィッシャーは、''p''値の表を使用する代わりに、CDFを反転させ、固定 ''p''値に対する検定統計量の値の一覧表を発表した。これは、{{Ill2|分位関数|en|Quantile function|preserve=1}}（逆CDF）を計算することと同じである。

==例==
{{unreferenced section|date=April 2024}}
{{Main|二項検定|{{ill2|コインが公正なものかどうかの確認|en|Checking whether a coin is fair}}}}

=== コインの公正性の検定 ===
統計検定の一例として、[[コイン投げ]]が[[公正なコイン|公正]]か（表と裏が出る確率が等しい）、不正に偏っているか（どちらか一方の面が出る確率がより高い）を調べる実験が行われた。

実験ではコインを20回投げ、うち表が14回出た。全データ <math>X</math> は、表（Head）あるいは裏（Tail）の20個の記号からなる。着目する統計量は、表が出た総数 <math>T</math> である。帰無仮説は、コインは[[公正なコイン|公正]]であり、コイン投げは互いに独立であるというものである。コインが表に偏っている可能性について実際に関心があるため、右側検定を考慮することになる。この場合、結果の ''p''値は、20回の公正なコイン投げのうち少なくとも14回が表になる確率である。この確率は、[[二項係数]]から次のように計算できる。
: <math>
\begin{align}
& \Pr(14\text{ heads}) + \Pr(15\text{ heads}) + \cdots + \Pr(20\text{ heads}) \\
& = \frac{1}{2^{20}} \left[ \binom{20}{14} + \binom{20}{15} + \cdots + \binom{20}{20} \right] = \frac{60\,460}{1\,048\,576} \approx 0.058.
\end{align}
</math>

この確率は、 表に有利な極端な結果のみを考慮した ''p''値である。これは、{{Ill2|片側および両側検定|en|One- and two-tailed tests|label=片側検定}}（one-tailed test）と呼ばれる。しかし、表か裏のどちらかの方向に偏り、どちらに有利になるかに関心をもつこともある。表または裏のいずれかに有利な偏差を考慮した両側 ''p''値（two-tailed p-value）を、代わりに計算することができる。公正なコインの場合、[[二項分布]]は対称形となるため、両側 ''p''値は単純に、前述した片側 ''p''値の2倍となる。この両側 ''p''値は 0.115 である。上記の例は次のように計算することができる。
* 帰無仮説 (''H''<sub>0</sub>)：コインは公正であり、Pr(heads) = 0.5 である
* 検定統計量：表が出た回数
* α水準（有意水準；指定した有意差の閾値）：0.05
* 観測値 ''O''：20回投げ、表は14回
* ''H''<sub>0</sub> における観測値 ''O'' の両側 ''p''値： 2 × min(Pr(表の回数&nbsp;≥&nbsp;14回), Pr(表の回数&nbsp;≤&nbsp;14回)) = 2 × min(0.058, 0.978) = 2 × 0.058 = 0.115<!-- 丸められた値ではなく、正確な値を合計したことに注意のこと。正確な値 = 0.1153183... -->

Pr(表の回数&nbsp;≤&nbsp;14回) = 1 − Pr(表の回数&nbsp;≥&nbsp;14回) + Pr(表の回数 = 14) = 1 − 0.058 + 0.036 = 0.978 となる。ただし、この二項分布は対称性があるため、2つの確率のうち小さい方を見つける計算は不要である。この例では、計算した ''p''値は 0.05 を上回っており、コインが公正であれば、95%の確率で起こる範囲内にデータが収まることを意味する。したがって、優位水準 0.05 で帰無仮説は棄却されない。

しかし、表がもう1つ出ていた場合、''p''値（両側）は 0.0414（4.14%）となり、この例では、有意水準 0.05 で帰無仮説が棄却される。

==== 多段階実験の計画 ====
コインの公正性を検定するための多段階実験を考えると、「極端」という言葉には2つの異なる意味があることが明らかになる。実験が次のように設計されていると仮定する。
* コインを2回投げる。2回とも表または裏が出た場合、実験は終了する。
* そうでない場合は、さらに4回コインを投げる。
この実験には、表2回、裏2回、表5回と裏1回、...、表1回と裏5回という7種類の結果がある。いま「表3回と裏3回」という結果について ''p''値を計算する。

検定統計量として「表/裏」を用いる場合、帰無仮説の下では、両側 ''p値は正確に'' 1''、左片側 p値は正確に'' 19/32''、右片側 p値も同様となる。''

「表3回と裏3回」と同じかそれよりも低い確率の結果がすべて「少なくとも同じくらい極端」とみなされる場合、''p''値は正確に 1/2 となる。

しかし、何が起こってもコインを6回だけ投げると計画した場合、''p''値の2番目の定義から、「表3回と裏3回」の ''p''値は正確に 1 となる。

このように、「少なくとも同じくらい極端」という ''p''値の定義は状況に大きく依存し、実際には起こらなかったことも含め、実験者が「計画した」内容によっても異なる。

== 歴史 ==
[[File:Arbuthnot John Kneller.jpg|thumb|upright|200px|alt=Chest high painted portrait of man wearing a brown robe and head covering|{{Ill2|ジョン・アーバスノット (医師)|en|John Arbuthnot|label=ジョン・アーバスノット}}]]
[[File:Pierre-Simon-Laplace (1749-1827).jpg|thumb|upright|200px|[[ピエール＝シモン・ラプラス]]]]
[[File:Journalofheredit07ameruoft 0448.jpg|thumb|200px|alt=Man seated at his desk looking up at the camera|[[カール・ピアソン]]]]
[[File:Youngronaldfisher2.JPG|thumb|upright|200px|alt=Sepia toned photo of young man wearing a suit, a medal, and wire-rimmed eyeglasses|[[ロナルド・フィッシャー]] ]]

''P''値の算出は1700年代に遡り、人の{{Ill2|ヒトの性比|en|Human sex ratio|label=出生時の性比}}を、男女間の出生確率が等しいという帰無仮説と比較した際の、統計的有意性を算出するために使用されていた<ref>{{cite book |title=The Descent of Human Sex Ratio at Birth |url=https://archive.org/details/descenthumansexr00bria |url-access=limited |author1 = Brian E |author2 = Jaisson M |author-link1=Éric Brian |author-link2=Marie Jaisson |chapter=Physico-Theology and Mathematics (1710–1794) |pages=[https://archive.org/details/descenthumansexr00bria/page/n17 1]–25 |year=2007 |publisher=Springer Science & Business Media |isbn=978-1-4020-6036-6}}</ref>。{{Ill2|ジョン・アーバスノット (医師)|en|John Arbuthnot|label=ジョン・アーバスノット}}は1710年にこの問題について研究し、1629年から1710年までの82年間のロンドンの出生記録を調査した<ref>{{cite journal | author = Arbuthnot J |s2cid=186209819|title=An argument for Divine Providence, taken from the constant regularity observed in the births of both sexes|journal=[[フィロソフィカル・トランザクションズ|Philosophical Transactions of the Royal Society of London]] | volume=27| pages=186–190 | year=1710 | url = http://www.york.ac.uk/depts/maths/histstat/arbuthnot.pdf|doi=10.1098/rstl.1710.0011|issue=325–336|doi-access=free}}</ref><ref name="Conover1999">{{cite book | author = Conover WJ |title=Practical Nonparametric Statistics |edition=Third |year=1999 |publisher=Wiley |isbn=978-0-471-16068-7 |pages=157–176 |chapter=Chapter 3.4: The Sign Test }}</ref><ref name="Sprent1989">{{cite book | author = Sprent P |title=Applied Nonparametric Statistical Methods |edition=Second |year=1989 |publisher=Chapman & Hall |isbn=978-0-412-44980-2 }}</ref><ref>{{cite book |title = The History of Statistics: The Measurement of Uncertainty Before 1900 | author = Stigler SM |publisher=Harvard University Press |year=1986 |isbn=978-0-67440341-3 |pages=[https://archive.org/details/historyofstatist00stig/page/225 225–226]}}</ref>。どの年も、ロンドンで生まれた男児の数は女児の数を上回っていた。男児と女児の出生が等しく起こると見なすと、観察された結果の確率は 1/2<sup>82</sup>、つまり1/4,836,000,000,000,000,000,000,000である。これは現代の言葉で言う ''p''値である。これは極めて小さな値であり、アーバスノットは、これを偶然ではなく神の摂理によるものだと結論づけ、「このことから、世界を支配するのは偶然ではなく、創造であるという結論が導き出される。」と述べた。現代的な言い方をすれば、彼は ''p''&nbsp;=&nbsp;1/2<sup>82</sup> の有意水準で、男児と女児の出生が同じ確率であるという帰無仮説を棄却した。アーバスノットのこの研究と他の研究は、「… 初めて有意差検定が用いられた…<ref name="Bellhouse2001">{{cite book | author = Bellhouse P |title = Statisticians of the Centuries |editor1-link=Chris Heyde |editor2-link=Eugene Seneta | veditors = Heyde CC, Seneta E |year=2001 |publisher=Springer |isbn=978-0-387-95329-8 |pages=39–42 |chapter=John Arbuthnot}}</ref>」、「統計的有意性に関する推論の最初の例<ref name="Hald1998">{{cite book | author = Hald A |title=A History of Mathematical Statistics from 1750 to 1930 |year=1998 |publisher=Wiley |pages=65 |chapter=Chapter 4. Chance or Design: Tests of Significance}}</ref>」であり、「…おそらくノンパラメトリック検定の最初の公表された報告…<ref name="Conover1999" />」として、特に{{Ill2|符号検定|en|Sign test|label=}}の最初の報告として知られている。詳細は{{Ill2|符号検定#歴史|en|Sign test#History|label=符号検定 § 歴史}}を参照のこと。

同じ疑問は後に、[[ピエール＝シモン・ラプラス]]によって取り上げられ、ラプラスは代わりにパラメトリック検定（parametric test）を行い、[[二項分布]]に基づいて男性の出生数をモデル化した<ref>{{cite book |title = The History of Statistics: The Measurement of Uncertainty Before 1900 | author = Stigler SM |publisher=Harvard University Press |year=1986 |isbn=978-0-67440341-3 |page=[https://archive.org/details/historyofstatist00stig/page/134 134]}}</ref>。

{{blockquote|1770年代、ラプラスは50万人近い出生統計を検討した。統計では男児の数が女児の数を上回っていた。彼は ''p''値の計算から、極端な現象は現実のものだが説明できない効果であると結論づけた。}}

''p''値は、[[カール・ピアソン]]が、[[カイ二乗分布]]を用いた「[[ピアソンのカイ二乗検定]]」で初めて正式に導入し、大文字の P で表記した<ref name="Pearson1900">{{cite journal | author = Pearson K | author-link = カール・ピアソン | title = On the criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling | doi = 10.1080/14786440009463897 | journal = Philosophical Magazine |series=Series 5 | volume = 50 | issue = 302 | pages = 157–175 | year = 1900 |url = http://www.economics.soton.ac.uk/staff/aldrich/1900.pdf }}</ref>。現在では、カイ二乗分布の ''p''値（さまざまな ''χ''<sup>2</sup> 値と自由度）は ''P'' と表記され、{{Harvcoltxt|Elderton|1902}}で算出され、{{Harvcoltxt|Pearson|1914|pp=xxxi–xxxiii, 26–28|loc=Table XII}} にまとめられた。

[[ロナルド・フィッシャー]]は統計における ''p''値の使い方を正式化し、普及させ<ref>{{Cite journal |last1=Biau |first1=David Jean |last2=Jolles |first2=Brigitte M. |last3=Porcher |first3=Raphaël |date=2010 |title=P Value and the Theory of Hypothesis Testing: An Explanation for New Researchers |journal=Clinical Orthopaedics and Related Research |volume=468 |issue=3 |pages=885–892 |doi=10.1007/s11999-009-1164-4 |issn=0009-921X |pmc=2816758 |pmid=19921345}}</ref><ref>{{Cite journal |last=Brereton |first=Richard G. |date=2021 |title=P values and multivariate distributions: Non-orthogonal terms in regression models |url=https://linkinghub.elsevier.com/retrieve/pii/S0169743921000320 |journal=Chemometrics and Intelligent Laboratory Systems |language=en |volume=210 |pages=104264 |doi=10.1016/j.chemolab.2021.104264}}</ref>、この問題に対する彼の研究方法において中心的な役割を果たした<ref>{{citation | author1 = Hubbard R | author2 = Bayarri MJ |title=Confusion Over Measures of Evidence (''p''′s) Versus Errors (α′s) in Classical Statistical Testing |journal=The American Statistician |volume=57 |year=2003 |issue=3 |pages=171–178 [p. 171] |doi=10.1198/0003130031856 |s2cid=55671953 }}</ref>。フィッシャーは、影響力の大きな著書『''Statistical Methods for Research Workers''（{{Ill2|研究者のための統計的方法|en|Statistical Methods for Research Workers}}）』（1925年）の中で、偶然に超えられる確率が20分の1となる水準 ''p'' = 0.05 を統計的有意性の限界として提案し、これを（両側検定として）正規分布に適用して、[[統計的有意性]]のための（正規分布における）2標準偏差のルールを生みだした{{sfn|Fisher|1925|p=47|loc=Chapter [http://psychclassics.yorku.ca/Fisher/Methods/chap3.htm III. Distributions]}}{{NoteTag|1=より具体的に言えば、''p'' = 0.05 は正規分布（両側検定）の場合、約 1.96 標準偏差に相当し、2標準偏差は偶然に超える可能性が約 1/22、つまり  ''p'' ≈ 0.045 に相当する。フィッシャーはこれらの近似値について言及している。}}{{sfn|Dallal|2012|loc=Note 31: [https://web.archive.org/web/20240411094738/http://www.jerrydallal.com/LHSP/p05.htm Why P=0.05?]}}。（参照 [[68–95–99.7則|68-95-99.7則]]）

さらに、{{Ill2|ウィリアム・ペイリン・エルダートン|en|William Palin Elderton|label=Elderton}} の手法に似た数値表も算出したが、より重要なのは、''χ''<sup>2</sup> と ''p'' の役割が逆転したことである。つまり、''χ''<sup>2</sup>（および自由度 ''n''）のさまざまな値について ''p'' を計算するのではなく、特定の ''p''値、具体的には 0.99、0.98、0.95、0.90、0.80、0.70、0.50、0.30、0.20、0.10、0.05、0.02、0.01 に対応する ''χ''<sup>2</sup> 値を計算した{{sfn|Fisher|1925|pp=78–79, 98|loc=Chapter [http://psychclassics.yorku.ca/Fisher/Methods/chap4.htm IV. Tests of Goodness of Fit, Independence and Homogeneity; with Table of ''χ''<sup>2</sup>], [http://psychclassics.yorku.ca/Fisher/Methods/tabIII.gif Table III. Table of ''χ''<sup>2</sup>]}}。これにより、''χ''<sup>2</sup> の計算値をカットオフ値と比較できるようになり（''p''値自体を計算し、報告するのではなく）、そして ''p''値（特に0.05、0.02、0.01）をカットオフ値とすることが推奨された。その後、{{Harvcoltxt|Fisher|Yates|1938}} により同様の表がまとめられ、この手法が定着した{{sfn|Dallal|2012|loc=Note 31: [https://web.archive.org/web/20240411094738/http://www.jerrydallal.com/LHSP/p05.htm Why P=0.05?]}}。

実験の設計と解釈における ''p''値の適用例として、フィッシャーは、次の著書『''The Design of Experiments''（{{Ill2|実験計画法 (ロナルド・フィッシャーの著書)|en|The Design of Experiments|label=実験計画法}}）』（1935年）で、''p''値の典型的な例として知られる「[[紅茶の違いのわかる婦人]]」の実験を紹介した{{sfn|Fisher|1971|loc=II. The Principles of Experimentation, Illustrated by a Psycho-physical Experiment}}。

ある女性（{{仮リンク|ミュリエル・ブリストル|en|Muriel Bristol}}）が、ミルクを先にカップに注いで紅茶を足す方法と、紅茶を先にカップに注いでミルクを足す方法との違いを味で区別できると主張するのを評価するため、8つのカップが順番に彼女に提示された。4杯は一方の方法で、4杯はもう一方の方法で用意され、彼女はそれぞれのカップにどのように紅茶が入れられたかを判断するように求められた（それぞれ4杯ずつあることは知っていた）。この場合、帰無仮説は「彼女に特別な能力はない」であり、検定方法は[[フィッシャーの正確確率検定]]で、''p''値は <math>1/\binom{8}{4} = 1/70 \approx 0.014</math> であった。フィッシャーは、すべてが正しく分類された場合は帰無仮説を棄却することに同意した（偶然による可能性は非常に低いと考えた）。実際の実験では、ブリストルは8つのカップをすべて正しく分類した。

フィッシャーは ''p'' = 0.05 という基準を再度述べ、その根拠を説明した{{sfn|Fisher|1971|loc=Section 7. The Test of Significance}}。

{{blockquote|有意水準の基準として5%を用いるのは、実験者にとって一般的であり、便利でもある。つまりこの基準に達しない結果をすべて無視し、偶然が実験結果にもたらした変動の大部分を以降の議論から排除するという意味で、実験者にとって都合が良い。}}

また、彼はこの閾値を実験計画にも適用し、もし6つのカップ（各3杯）しか提示されていなかった場合、分類が完全であったとしても、''p''値は <math>1/\binom{6}{3} = 1/20 = 0.05</math> にしかならず、この有意水準を満たすことはないだろうと指摘している{{sfn|Fisher|1971|loc=Section 7. The Test of Significance}}。フィッシャーはまた、帰無仮説が正しいと仮定した場合、データと同程度の極端な値の長期的な比率として ''p''値を解釈する重要性を強調した。

フィッシャーは、著書の後の版で、科学的な統計的推論における ''p''値の使い方をネイマン・ピアソン法と明確に比較し、それを「受け入れ手順」<!-- Acceptance Procedures -->と呼んだ{{sfn|Fisher|1971|loc=Section 12.1 Scientific Inference and Acceptance Procedures}}。フィッシャーは、5%、2%、1%といった固定の水準は簡便であるが、正確な ''p''値も使用でき、さらなる実験によって証拠の強さを改め、見直すことができると強調した。その一方、決定手順<!-- decision procedures -->は明確な意思決定を必要とし、その結果、不可解な行動につながり、またその手順は過誤のコストに基づいており、科学的研究には適用できないと指摘した。

== 関連指標 ==
''E''値は2つの意味があり、どちらも ''p''値に関連し、[[多重比較問題|多重検定]]において役割を果たしている。第一に、{{Ill2|E値 (統計学)|en|E-values|label=''p''値に代わる一般的で、より頑強な代替値}}で、実験の任意継続にも対応できる。第二に、「期待値」を簡約して表すために使用され、帰無仮説が真であると仮定した場合に、実際に観測された値と少なくとも同じくらい極端な検定統計量が得られることが[[条件付期待値|期待]]される回数である<ref>{{cite web |url=https://www.ncbi.nlm.nih.gov/blast/Blast.cgi?CMD=Web&PAGE_TYPE=BlastDocs&DOC_TYPE=FAQ#expect |work=National Institutes of Health |title=Definition of E-value |access-date=2010-05-17}}</ref>。この期待値は、検定回数と ''p''値の積である。

{{Ill2|q値 (統計学)|en|q-value (statistics)|label=''q''値}}は、{{Ill2|偽発見率|en|False discovery rate#Related concepts|label=偽陽性発見率}}に関する ''p''値の類似値である<ref>{{Cite journal| author = Storey JD |date=2003|title=The positive false discovery rate: a Bayesian interpretation and the q-value|journal=The Annals of Statistics|volume=31|issue=6|pages=2013–2035|doi=10.1214/aos/1074290335|doi-access=free}}</ref>。これは[[多重比較問題|多重仮説検定]]で使用され、{{Ill2|偽陽性率|en|False discovery rate}}を最小限に抑えながら、統計的[[検出力]]を維持するために使われる<ref>{{cite journal | author1 = Storey JD | author2 = Tibshirani R | title = Statistical significance for genomewide studies | journal = Proceedings of the National Academy of Sciences of the United States of America | volume = 100 | issue = 16 | pages = 9440–9445 | date = August 2003 | pmid = 12883005 | pmc = 170937 | doi = 10.1073/pnas.1530509100 | doi-access = free | bibcode = 2003PNAS..100.9440S }}</ref>。

{{Ill2|方向性確率|en|Probability of direction}}（''pd''）は、[[ベイズ統計学]]における ''p''値の数値的等価である<ref name="makowski2019indices">{{cite journal | author1 = Makowski D | author2 = Ben-Shachar MS | author3 = Chen SH | author4 = Lüdecke D | title = Indices of Effect Existence and Significance in the Bayesian Framework | journal = Frontiers in Psychology | volume = 10 | pages = 2767 | date = 10 December 2019 | pmid = 31920819 | pmc = 6914840 | doi = 10.3389/fpsyg.2019.02767 | doi-access = free }}</ref>。これは、[[事後確率|事後分布]]のうち中央値と同じ符号を持つものの割合に相当し、通常は50%から100%の間で変化し、効果が正であるか負であるかの確実性を表す。

[[第二世代p値|第二世代 ''p''値]]は、極めて小さな、実質的に無関係な{{Ill2|効果量 (統計学)|en|Effect size|label=効果量}}を有意と見なさない、''p''値の概念の拡張である<ref>An Introduction to Second-Generation p-Values Jeffrey D. Blume, Robert A. Greevy, Valerie F. Welty, Jeffrey R. Smith &William D. Dupont https://www.tandfonline.com/doi/full/10.1080/00031305.2018.1537893</ref>。

== 脚注 ==
{{脚注ヘルプ}}
=== 注釈 ===
{{NoteFoot}}

=== 出典 ===
{{Reflist}}

== 推薦文献 ==
{{refbegin|30em}}
* {{cite journal | author = Denworth L | title = A Significant Problem: Standard scientific methods are under fire. Will anything change? | journal = [[:en:Scientific American|Scientific American]] | volume = 321 | issue = 4 | date = October 2019 | pages = 62–67 (63) | quote = The use of [[:en:p value|''p'' values]] for nearly a century [since 1925] to determine [[:en:statistical significance|statistical significance]] of [[:en:experiment|experiment]]al results has contributed to an illusion of [[:en:certainty|certainty]] and [to] [[:en:reproducibility|reproducibility crises]] in many [[:en:science|scientific fields]]. There is growing determination to reform statistical analysis... Some [researchers] suggest changing statistical methods, whereas others would do away with a threshold for defining "significant" results. }}
* {{cite journal | last = Elderton | first = WP | author-link=:en:William Palin Elderton | title = Tables for Testing the Goodness of Fit of Theory to Observation |doi = 10.1093/biomet/1.2.155 |journal = Biometrika |volume = 1 |issue = 2 | pages = 155–163 | year = 1902 | url = https://zenodo.org/record/1431595 |ref=harv}}
* {{cite journal |last=Pearson |first=Karl | author-link=カール・ピアソン | title=On the probability that two independent distributions of frequency are really samples of the same population, with special reference to recent work on the identity of Trypanosome strains |date=1914 |journal=Biometrika |volume=10 |pages=85–154|doi=10.1093/biomet/10.1.85 |ref=harv}}
* {{cite book | title = Statistical Methods for Research Workers | author = Fisher RA |author-link = ロナルド・フィッシャー |year=1925 |publisher=Oliver & Boyd |location = Edinburgh, Scotland |isbn = 978-0-05-002170-5|title-link=Statistical Methods for Research Workers |ref=harv | last1= Fisher | first1=RA }}
* {{cite book | title = The Design of Experiments |edition=9th | author = Fisher RA |author-link = ロナルド・フィッシャー |orig-year=1935 |year=1971 |publisher=Macmillan |isbn = 978-0-02-844690-5 | url = https://mimno.infosci.cornell.edu/info3350/readings/fisher.pdf |ref=harv | last1= Fisher | first1=RA }}
* {{cite book | author1 = Fisher RA | author2 = Yates F | title = Statistical tables for biological, agricultural, and medical research | year = 1938 | location = London, England | url = https://catalog.hathitrust.org/Record/001306237 | ref=harv | last1= Fisher | first1=RA | last2= Yates |firs2=F |hdl=2440/10701}}
* {{cite book |title = The history of statistics : the measurement of uncertainty before 1900 | author = Stigler SM |author-link = スティーブン・スティグラー |year = 1986 |publisher = Belknap Press of Harvard University Press |location = Cambridge, Mass |isbn = 978-0-674-40340-6|url-access = registration |url = https://archive.org/details/historyofstatist00stig }}
* {{cite journal | author1 = Hubbard R | author2 = Armstrong JS | author2-link = :en:J. Scott Armstrong |title = Why We Don't Really Know What Statistical Significance Means: Implications for Educators |doi = 10.1177/0273475306288399 |url = https://hops.wharton.upenn.edu/ideas/pdf/Armstrong/StatisticalSignificance.pdf |journal = Journal of Marketing Education |volume=28 |issue=2 |pages=114–120 |year=2006 |archive-url = https://web.archive.org/web/20060518054857if_/http://hops.wharton.upenn.edu/ideas/pdf/Armstrong/StatisticalSignificance.pdf |archive-date=May 18, 2006 |hdl=2092/413 |s2cid=34729227 |hdl-access=free }}
* {{cite journal | author1 = Hubbard R | author2 = Lindsay RM |doi = 10.1177/0959354307086923 |title = Why ''P'' Values Are Not a Useful Measure of Evidence in Statistical Significance Testing |journal = Theory & Psychology |volume = 18 |issue = 1 |pages = 69–88 |year = 2008 |s2cid = 143487211 |url = http://wiki.bio.dtu.dk/~agpe/papers/pval_notuseful.pdf <!-- paper that explains the difference between Fisher's evidential [[:en:p-value|''p''-value]] and the Neyman–Pearson [[:en:Type I error rate|Type I error rate]] ''α'' --> |access-date = 2015-08-28 |archive-url = https://web.archive.org/web/20161021014340if_/http://wiki.bio.dtu.dk/~agpe/papers/pval_notuseful.pdf |archive-date = 2016-10-21 |url-status = dead }}
* {{cite journal | author = Stigler S | author-link = スティーブン・スティグラー |title = Fisher and the 5% level |doi = 10.1007/s00144-008-0033-3 |journal = Chance | volume = 21 | issue = 4 | page = 12 |date=December 2008 |doi-access = free }}
* {{cite book |title = The Little Handbook of Statistical Practice | author = Dallal GE |year=2012 |url = http://www.tufts.edu/~gdallal/LHSP.HTM | ref=harv | last1=Dallal| first1=GE | archive-url=https://web.archive.org/web/20240411094738/http://www.jerrydallal.com/LHSP/p05.htm | archive-date=2024-04-11}}
* {{cite journal | author1 = Biau DJ | author2 = Jolles BM | author3 = Porcher R | title = P value and the theory of hypothesis testing: an explanation for new researchers | journal = Clinical Orthopaedics and Related Research | volume = 468 | issue = 3 | pages = 885–892 | date = March 2010 | pmid = 19921345 | pmc = 2816758 | doi = 10.1007/s11999-009-1164-4 }}
* {{cite book | author = Reinhart A |title=Statistics Done Wrong: The Woefully Complete Guide |publisher=[[ノー・スターチ・プレス|No Starch Press]] |url = http://statisticsdonewrong.com |isbn = 978-1593276201 |page = 176 |year = 2015 }}
* {{cite journal |author-last1=Benjamini |author-first1=Yoav |author-link1=:en:Yoav Benjamini |author-last2=De Veaux |author-first2=Richard D. 
|author-last3=Efron|author-first3=Bradley|author-link3=:en:Bradley Efron|author-last4=Evans|author-first4=Scott
|author-last5=Glickman|author-first5=Mark
|author-last6=Graubard|author-first6=Barry I.
|author-last7=He|author-first7=Xuming
|author-last8=Meng|author-first8=Xiao-Li|author-link8=:en:Xiao-Li Meng
|author-last9=Reid|author-first9=Nancy|author-link9=:en:Nancy Reid
|author-last10=Stigler|author-first10=Stephen M.|author-link10 = スティーブン・スティグラー
|author-last11=Vardeman|author-first11=Stephen B.
|author-last12=Wikle|author-first12=Christopher K.
|author-last13=Wright|author-first13=Tommy
|author-last14=Young|author-first14=Linda J.
|author-last15=Kafadar|author-first15=Karen|author-link15=:en:Karen Kafadar
|journal=Annals of Applied Statistics
|year=2021
|volume=15
|pages=1084–1085
 |title=The ASA President's Task Force Statement on Statistical Significance and Replicability
|issue=3 |doi=10.1214/21-AOAS1501|doi-access=free}}
*{{cite journal | last1 = Benjamin | first1 = Daniel J. | last2 = Berger | first2 = James O. | last3 = Johannesson | first3 = Magnus | last4 = Nosek | first4 = Brian A. | last5 = Wagenmakers | first5 = E.-J. | last6 = Berk | first6 = Richard | last7 = Bollen | first7 = Kenneth A. | last8 = Brembs | first8 = Björn | last9 = Brown | first9 = Lawrence | last10 = Camerer | first10 = Colin | last11 = Cesarini | first11 = David | last12 = Chambers | first12 = Christopher D. | last13 = Clyde | first13 = Merlise | last14 = Cook | first14 = Thomas D. | last15 = De Boeck | first15 = Paul | last16 = Dienes | first16 = Zoltan | last17 = Dreber | first17 = Anna | last18 = Easwaran | first18 = Kenny | last19 = Efferson | first19 = Charles | last20 = Fehr | first20 = Ernst | last21 = Fidler | first21 = Fiona | last22 = Field | first22 = Andy P. | last23 = Forster | first23 = Malcolm | last24 = George | first24 = Edward I. | last25 = Gonzalez | first25 = Richard | last26 = Goodman | first26 = Steven | last27 = Green | first27 = Edwin | last28 = Green | first28 = Donald P. | last29 = Greenwald | first29 = Anthony G. | last30 = Hadfield | first30 = Jarrod D. | last31 = Hedges | first31 = Larry V. | last32 = Held | first32 = Leonhard | last33 = Hua Ho | first33 = Teck | last34 = Hoijtink | first34 = Herbert | last35 = Hruschka | first35 = Daniel J. | last36 = Imai | first36 = Kosuke | last37 = Imbens | first37 = Guido | last38 = Ioannidis | first38 = John P. A. | last39 = Jeon | first39 = Minjeong | last40 = Jones | first40 = James Holland | last41 = Kirchler | first41 = Michael | last42 = Laibson | first42 = David | last43 = List | first43 = John | last44 = Little | first44 = Roderick | last45 = Lupia | first45 = Arthur | last46 = Machery | first46 = Edouard | last47 = Maxwell | first47 = Scott E. | last48 = McCarthy | first48 = Michael | last49 = Moore | first49 = Don A. | last50 = Morgan | first50 = Stephen L. | last51 = Munafó | first51 = Marcus | last52 = Nakagawa | first52 = Shinichi | last53 = Nyhan | first53 = Brendan | last54 = Parker | first54 = Timothy H. | last55 = Pericchi | first55 = Luis | last56 = Perugini | first56 = Marco | last57 = Rouder | first57 = Jeff | last58 = Rousseau | first58 = Judith | last59 = Savalei | first59 = Victoria | last60 = Schönbrodt | first60 = Felix D. | last61 = Sellke | first61 = Thomas | last62 = Sinclair | first62 = Betsy | last63 = Tingley | first63 = Dustin | last64 = Van Zandt | first64 = Trisha | last65 = Vazire | first65 = Simine | last66 = Watts | first66 = Duncan J. | last67 = Winship | first67 = Christopher | last68 = Wolpert | first68 = Robert L. | last69 = Xie | first69 = Yu | last70 = Young | first70 = Cristobal | last71 = Zinman | first71 = Jonathan | last72 = Johnson | first72 = Valen E. | title = Redefine statistical significance | journal = Nature Human Behaviour | date = 1 September 2017 | volume = 2 | issue = 1 | pages = 6–10 | eissn = 2397-3374 | doi = 10.1038/s41562-017-0189-z | pmid = 30980045 | s2cid = 256726352 | hdl = 10281/184094 | hdl-access = free }}
{{refend}}

== 関連項目 ==
*[[T検定|''t''検定]] - 2つの標本の差が統計的に有意であるかどうかを検定するのに使用される統計的検定
*[[ボンフェローニ補正]] - 多重比較問題に対処する方法の一つ
*{{Ill2|反帰無|en|Counternull}} - 心理データの統計分析において使用される統計値
*{{Ill2|フィッシャー法 (統計学)|en|Fisher's method}} - データ融合またはメタ分析（分析の分析）のための手法
*{{Ill2|一般化p値|en|Generalized p-value|label=一般化 ''p''値}} - 古典的''p''値のいくつかの欠点を克服した拡張
*{{Ill2|調和平均p値|en|Harmonic mean p-value}} - ファミリーワイズエラー率を制御する 多重比較問題に対処するための統計的手法
*[[ホルム＝ボンフェローニ法]] - 多重比較の問題に対処するために使用される検定方法
*[[多重比較問題]] - 複数の検定に対する統計学的解釈
*[[:en:p-rep|''p''-rep]] - 古典的な ''p''値に代わる統計的手法の一つ (理論上の誤りが指摘された)
*{{ill2|p値の誤用|en|Misuse of p-values|label=}} - 統計的有意性の誤った解釈

== 外部リンク ==
{{Commons category|P-value}}
* [http://www.danielsoper.com/statcalc/default.aspx#c14 Free online ''p''-values calculators] for various specific tests (chi-square, Fisher's F-test, etc.).
* {{YouTube|UFhJefdVCjE|StatQuest: P-value pitfalls and power calculations}}

{{Clear}}
{{Statistics|state=collapsed}}

{{デフォルトソート:ひいち}}
[[Category:統計的仮説検定]]