
“p<0.05” , “p<0.01″ ,”p<0.001” , “p<0.0001” って何が違うの?
本記事は,このような「なぜ?どうして?」にお答えします.

こんにちは.
博士号を取得後,派遣社員として基礎研究に従事しているフールです.
p値と有意水準の記述では,”p<0.05″ や “p<0.01″ が多いですね.
でも時々,”p<0.001” や “p<0.0001” ってのも見かけます.

この違いは何でしょうか?
p値の小ささを強調しているのは分かりますが,それは意味があるのでしょうか?
この記事では,有意水準の規定とp値についてまとめました.
本記事を読み終えると,p値の小ささをいたずらに強調しなくなりますよ!
サマリー・p値はデータと特定の統計モデルが矛盾する割合を示す指標です.
・p値が小ささを判断するために使用する基準が有意水準です.
・p値と群間差の間に因果関係や相関関係は成立しないので,p値の小ささを強調しても意味はありません.
p値と有意水準
p値の “p” は “probability” の意味で,p値はデータと特定の統計モデルが矛盾する確率を表します.

例えば,帰無仮説(「2群間に差がない」とか「要因と結果の間に関係がない」とか)も統計モデル構成する要素の1つです.
得られたデータと帰無仮説の統計的な矛盾の程度をp値で表現しています.
そして,p値が小さいかどうかを判断するために使用する基準が有意水準で, “α” で表現します.
一般的には,有意水準として5%(α=0.05)を規定します.
これは同じ実験を20回繰り返したとき,1回は有意差が無いけど有意差があると判定される確率を表します.
有意差があるとは?
論文では, “p-value less than 0.05 was considered to be statistically significant.” のような表現をよく見かけますね.
これには次のような意味があります.
群間に偶然差が出てしまうことはあり得る. ↓ だから,その差を偶然と見なすかどうかを判断する基準が必要だ. ↓ 今回はその基準を5%としよう!
ココでのポイントは,有意水準は研究者自身が設定する基準ということです.
研究者自身が規定する有意水準の値で,結論(帰無仮説を棄却する/保留する)が変わるんです.
p値と得られた差の関係
繰り返しになりますが,p値はデータと特定の統計モデルが矛盾する確率を表します.
実験で得られた「差」や「関連」の指標ではありません.
つまり,p値と得られた群間差の間に因果関係や相関関係はありません.
「p値が小さければ小さいほど,群間差が大きい」などの概念は存在しません.
有意水準を規定するのはいつか?
統計解析のことを考えてから実験デザインを考えるのが基本です.
一般的な流れは,次のようになります.
- 実験の目的を考える
- 比較対象を決める
- 検定方法を考える
- 有意基準を規定する
- 実験してデータを集める
実験を開始する前に「有意差がある」と判断する基準は決まっていますよ!
ところで,実験が終了してデータがそろってから検定方法を考える人は未だに多いです.
しかし,それはp-hackingと呼ばれている禁止行為です.
気をつけてくださいね!
p値と有意水準の記述
さて本題です.
p値と有意水準の記述は多様です.
“p<0.05” や “p<0.01” が多いですが,中には “p<0.001” や “p<0.0001” ってのも見かけます.
でも,p値をいたずらに強調しても意味はありません.

先ほども書きましたが,p値と得られた群間差の間に因果関係や相関関係は無いので.
もし,「p値が小さいほど,差が大きい」という傾向や「p値が小さいほど,処置や介入の効果が高い」という概念が存在するのなら,p値を強調する意味もあるでしょう.
残念ながら,そのような傾向や概念はありません.
また,有意水準を規定するのは実験開始前です.
事前に “p<0.05” を「有意な差あり」と判断すると決め,統計解析後に “p<0.05” を確認できたのなら,それで十分なのです.
得られたp値が “p<0.0001” だったという理由で,それを記述することや強調することに意味はありません.
p値の小ささを強調したいのであれば,有意水準を小さく設定するべきです.
ガイドラインで定める雑誌もある
p値をいたずらに強調する人が多いからだと思いますが,投稿規定でp値と有意水準の記述を定めている雑誌もあります.
例えば, “British Journal of Pharmacology”(BJP)では,以下のように記述しています.
When comparing groups, a level of probability (P) deemed to constitute the threshold for statistical significance should be defined in Methods, and not varied later in Results (by presentation of multiple levels of significance). Thus, ordinarily P < 0.05 should be used throughout a paper to denote statistically significant differences between groups.
皆さんが投稿しようとしている雑誌にも,同様の記述があるかもしれません.
ぜひ確認してみてください!
以上,p値と有意水準の規定【p値の強調の意味】でした.
なお,2016年には American Statistical Association(アメリカ統計協会 [ASA])がp値に関する声明(ASA 声明)を公表しています.
この中の “ASA Statement on Statistical Significance and P-Values” が分かりやすいと思いますので,興味がある方はご一読ください.
最後までお付き合いいただきありがとうございました.
次回もよろしくお願いいたします.
2020年12月30日 フール