統計学および機械学習の評価指標のソースを表示

{{Pathnav|[[データサイエンス]]|[[統計学]]、[[機械学習]]|frame=1}}{{機械学習}}
'''統計学および機械学習の評価指標'''（とうけいがくおよびきかいがくしゅうのひょうかしひょう）では統計学および（教師ありの）機械学習の評価指標について述べる。

== 回帰に対する評価指標 ==
以下のものがある<ref>{{Cite web|和書|url=https://data.gunosy.io/entry/2016/08/05/115345|title=いまさら聞けない機械学習の評価関数|accessdate=2020-04-01|publisher=Gunosy|date=2016-08-05}}</ref><ref>{{Cite web|和書|url=https://blog.datarobot.com/jp/%E3%83%A2%E3%83%87%E3%83%AB%E6%9C%80%E9%81%A9%E5%8C%96%E6%8C%87%E6%A8%99-%E8%A9%95%E4%BE%A1%E6%8C%87%E6%A8%99%E3%81%AE%E9%81%B8%E3%81%B3%E6%96%B9|title=モデル最適化指標・評価指標の選び方|accessdate=2020-04-01|publisher=DataRobot|date=2018-05-29}}</ref><ref>{{Cite book|和書|title=Kaggleで勝つデータ分析の技術|date=2019/10/9|publisher=技術評論社|author=門脇大輔, 阪田隆司, 保坂桂佑, 平松雄司|isbn=978-4297108434|pages=62-67}}</ref>。観測値を<math>y=\left\{y_1,\ y_2,\ \cdots,\ y_N\right\}</math>、推定値を<math>\hat{y_i}=\left\{\hat{y_1},\ \hat{y_2},\ \cdots,\ \hat{y_N}\right\}</math>と表す。これらの評価指標は代表的な[[Python]]の[[オープンソース]][[機械学習]]ライブラリ[[scikit-learn]]ではmetricsモジュールに実装されており、評価指標を計算する関数を併記する。

{| class="wikitable"
|+
!略称
!名称（英語）
!名称（日本語）
!定義
!scikit-learnのmetricsモジュールでの関数
|-
|MSE
|Mean Squared Error
|平均二乗誤差
|<math>{1\over N}\sum_{i=1}^N(y_i-\hat{y_i})^2</math>
|mean_squared_error(y_true,y_pred)
|-
|RMSE
|Root Mean Squared Error
|二乗平均平方根誤差
|<math>\sqrt{{1\over N}\sum_{i=1}^N(y_i-\hat{y_i})^2}</math>
|np.root(mean_squared_error(y_true,y_pred))
|-
|MAE
|Mean Absolute Error
|平均絶対誤差
|<math>{1\over N}\sum_{i=1}^N|y_i-\hat{y_i}|</math>
|mean_absolute_error(y_true,y_pred)
|-
|MAPE
|Mean Absolute Percentage Error
|平均絶対誤差率
|<math>{1\over N}\sum_{i=1}^N{\frac{|y_i-\hat{y_i}|}{y_i}}</math>
|
|-
|RMSPE
|Root Mean Squared Percentage Error
|平均二乗パーセント誤差の平方根
|<math>\sqrt{{1\over N}\sum_{i=1}^N\left(\frac{y_i-\hat{y_i}}{y_i}\right)^2}</math>
|
|-
|RMSLE
|Root Mean Squared Logarithmic Error
|
|<math>\sqrt{{1\over N}\sum_{i=1}^N(\log(y_i+1)-\log(\hat{y_i}+1))^2}</math>
|mean_squared_log_error(y_true,y_pred)
|-
|<math>R^2</math>
|coefficient of determination
|決定係数
|<math>1-{\sum_{i=1}^N (y_i-\hat{y_i})^2 \over \sum_{i=1}^N (y_i-\bar{y})^2}</math>、ここで<math>\bar{y}={1\over N}\sum_{i=1}^Ny_i</math>
|r2_score(y_true,y_pred)
|}
ただし、決定係数は上に挙げたものの他に7種類の定義が知られている。
{{詳細記事|決定係数}}

== 二値分類 ==

=== 混同行列 ===
{{main|[[混同行列]]}}
{| class="wikitable"
! colspan="2" rowspan="2" |
! colspan="2" |実際の値
|-
!正
!負
|-
! rowspan="3" |予
測

値
!正
|真陽性
True Positive(TP)
|偽陽性
False Positive(FP)
|-
!負
|偽陰性
False Negative(FN)
|真陰性
True Negative(TN)
|}
[[scikit-learn]]ではmetricsモジュールの「confusion_matrix(y_true, y_pred)」。

=== 各種指標 ===
以下のものがある''<ref name="Fawcett2006">{{cite journal|last=Fawcett|first=Tom|date=2006|title=An Introduction to ROC Analysis|url=http://people.inf.elte.hu/kiss/11dwhdm/roc.pdf|journal=Pattern Recognition Letters|volume=27|issue=8|pages=861–874|doi=10.1016/j.patrec.2005.10.010}}</ref><ref name="Powers2011">{{cite journal|last=Powers|first=David M W|date=2011|title=Evaluation: From Precision, Recall and F-Measure  to ROC, Informedness, Markedness & Correlation|url=http://www.flinders.edu.au/science_engineering/fms/School-CSEM/publications/tech_reps-research_artfcts/TRRA_2007.pdf|journal=Journal of Machine Learning Technologies|volume=2|issue=1|pages=37–63}}</ref><ref name="ting2011precision">{{cite book|last=Ting|first=Kai Ming|title=Encyclopedia of machine learning|date=2011|publisher=Springer|isbn=978-0-387-30164-8|url=https://link.springer.com/referencework/10.1007%2F978-0-387-30164-8}}</ref><ref name="cawcr">{{cite web|url=https://www.cawcr.gov.au/projects/verification/|last6=Koh|publisher=World Meteorological Organisation|website=Collaboration for Australian Weather and Climate Research|date=2015-01-26|first8=David|last8=Stephenson|first7=Paul|last7=Roebber|first6=Tieh-Yong|first5=Ian|title=WWRP/WGNE Joint Working Group on Forecast Verification Research|last5=Jolliffe|first4=Chris|last4=Ferro|first3=Beth|last3=Ebert|first2=Barb|last2=Brown|first1=Harold|last1=Brooks|access-date=2019-07-17}}</ref><ref name="ChiccoJurman2020">{{cite journal|date=January 2020|title=The advantages of the Matthews correlation coefficient (MCC) over F1 score and accuracy in binary classification evaluation|journal=[[BMC Genomics]]|volume=21|issue=6|pages=|doi=10.1186/s12864-019-6413-7|pmid=31898477|pmc=6941312|vauthors=Chicco D, Jurman G}}</ref>：''
{| class="wikitable"
! colspan="3" rowspan="3" |
! colspan="4" |実際の値
|-
! colspan="2" |総数
! colspan="2" |割合
|-
!正
!負
!正
!負
|-
! rowspan="5" |予
測

値
! rowspan="2" |総
数
!正
|真陽性
True Positive(TP)
|偽陽性
False Positive(FP)

[[第一種過誤と第二種過誤|第一種の過誤]]
|[[陽性適中率]](Positive Prediction Value、PPV)
適合率(Precision)
<math>{TP \over TP+FP}</math>
|{{仮リンク|偽発見率|en|False Discovery Rate}}(False Discovery Rate、FDR)
<math>{FP \over TP+FP}</math>
|-
!負
|偽陰性
False Negative(FN)

[[第一種過誤と第二種過誤|第二種の過誤]]
|真陰性
True Negative(TN)
|False Omission Rate (FOR) 

<math>{FN \over FN+TN}</math>
<br />
|[[陰性適中率]](Negative Predictive Value 、NPV) 
<math>{TN \over FN+TN}</math>
|-
! rowspan="2" |割
合
!正
|真陽性率(True Positive Rate 、TPR)、再現率(Recall)、感度(Sensitivity)、Hit Rate
<math>{TP \over TP+FN}</math>
|偽陽性率(False Positive Rate 、FPR)、
Fall-out

<math>{FP \over FP+TN}</math>
| colspan="2" rowspan="2" |<br />
|-
!負
|偽陰性率(False Negative Rate、FNR)、Miss Rate
<math>{FN \over TP+FN}</math>
|真陰性率(True Negative Rate 、TNR)、
特異性(Specificity)、

Selectivity

<math>{TN \over FP+TN}</math>
|}

[[scikit-learn]]ではmetricsモジュールの下記の関数を呼び出すことで計算可能：

* 適合率：precision_score(y_true, y_pred)
* 再現率：recall_score(y_true, y_pred)

{| class="wikitable"
|+
!名称
!名称（英語）
!定義
!直観的意味、備考
!scikit-learnのmetricsモジュールでの関数
|-
|検査前確率
|Pre-test Probability
|<math>{TP+FN\over TP+FN+FP+FN}</math>
|全データにおける正例の割合。
医学では「[[有病割合]]」(Prevalence)とも呼ばれる
|
|-
|精度
|Accuracy
|<math>{TP+TN\over TP+TN+FP+FN}</math>
|予測が正解したものの割合。
「正解率」とも呼ばれる。
|accuracy_score(y_true, y_pred)
|-
|誤分類率
|classification error rate
|<math>1-\mathrm{Accuracy}</math>
|
|
|-
|
|balanced accuracy (BA)
|<math>\frac {TPR + TNR}{2} </math>
|
|
|-
|[[スレットスコア]]
|Threat score(TS)
|<math>{TP\over TP+FN+FP}</math>
|「重要成功指数」(Critical Success Index、CSI)とも呼ばれる。
精度の分母からTNを削ったもの。正例に比べ負例が極端多い場合、TNは大きな値になるため精度よりも有効な指標となる。
<br />
|
|-
|{{Math|F{{sub|β}}}}値
|{{Math|F{{sub|β}}}}-rate
|<math>{1+\beta^2 \over {\beta^2\over \mathrm{recall}}+{1\over \mathrm{precision}}}={(1+\beta^2)\mathrm{recall}\cdot\mathrm{presicion}\over \mathrm{recall}+\beta^2\mathrm{presicion}}</math>
|適合率と再現率の重み付き[[調和平均]]。特に{{Math|1=β=1}}のケースである'''{{Math|F{{sub|1}}}}値'''がよく使われる。
<math>F_1 = \frac{TP}{TP+\frac{FP+FN}{2}}</math>であり、分母にTNがないので、スレットスコアと同様、正例に比べ負例が極端多い場合、有効な指標となる。
<br />
|fbeta_score()
f1_score()
|-
|
|Markedness (MK)
|<math>PPV+NPV-1</math>
|「deltaP」とも呼ばれる
|
|-
|
|Bookmaker Informedness (BM)
|<math>TPR+TNR-1</math>
|単に「Informedness」とも呼ばれる。「deltaP'」とも呼ばれる。
|
|-
|  -
|マシューズ相関係数(Matthews Correlation Coefficient
、MCC)
|<math>{TP\cdot TN - FP \cdot FN \over \sqrt{(TP+FP)(TP+FN)(TN+FP)(TN+FN)}}</math>
|不均衡なデータに対しても性能を適切に評価できる指標。
|matthews_corrcoef()
|-
|  -
|[[:en:Fowlkes–Mallows index|Fowlkes–Mallows index]](FM)
|<math>\sqrt{\frac {TP}{TP+FP} \cdot \frac{TP}{TP+FN}} = \sqrt{ PPV \cdot TPR }</math>
|
|
|-
|  -
|Prevalence Threshold (PT)
|<math>\frac{\sqrt{TPR(-TNR+1)}+TNR-1}{(TPR+TNR-1)} </math>
|
|
|-
|[[陽性尤度比]]
|Positive likelihood ratio(LR+)
|<math>{FPR \over TPR}</math>
|LR+=<math>{TP/FP \over (TP+FN)/(FP+TN)}</math>=検査後オッズ/検査前オッズ

が成立する。
|
|-
|[[陰性尤度比]]
|Negative likelihood ratio(LR−)
|<math>{FNR \over TNR}</math>
|
|
|-
|{{仮リンク|診断オッズ比|en|Diagnostic odds ratio}}
|Diagnostic odds ratio(DOR)
|<math>{LR+ \over LR-}</math>
<br />
|
|
|-
|[[交差エントロピー]]
|cross entropy
|<math>-{1\over N} \sum_i^N y_i \log p_i + (1-y_i)\log (1-p_i)</math>
|log損失(log loss)とも。
{{Mvar|y{{sub|i}}}}は{{Mvar|i}}番目のデータが正例なら1、負例なら0、{{Mvar|p{{sub|i}}}}は予測器が正例だと予測した確信度∈[0,1]。
|log_loss()
|}

== 脚注 ==
{{脚注ヘルプ}}
{{Reflist}}

{{DEFAULTSORT:きかいかくしゆうのひようかしひよう}}
[[Category:統計学]]
[[Category:機械学習]]
[[Category:評価方法]]