p値と有意水準の規定【p値の強調の意味】

p値の強調の意味
この記事は約5分で読めます。

p値と有意水準の規定【p値の強調の意味】

 

“p<0.05” , “p<0.01″ ,”p<0.001” , “p<0.0001” って何が違うの?

本記事は,このような「なぜ?どうして?」にお答えします.
こんにちは.

博士号を取得後,派遣社員として基礎研究に従事しているフールです.

p値と有意水準の記述では,”p<0.05″ や “p<0.01″ が多いですね.

でも時々,”p<0.001” や “p<0.0001” ってのも見かけます.

この違いは何でしょうか?

p値の小ささを強調しているのは分かりますが,それは意味があるのでしょうか?

この記事では,有意水準の規定とp値についてまとめました.

本記事を読み終えると,p値の小ささをいたずらに強調しなくなりますよ!

 

サマリー・p値は観察された差が偶然生じる確率を表します.

・p値が小ささを判断するために使用する基準が有意水準です.

・p値と群間差の間に因果関係や相関関係は成立しないので,p値の小ささを強調しても意味はありません.

p値と有意水準

p値の “p” は “probability” の意味で,p値は観察された群間の差が偶然生じる確率を表します.

そして,p値が小さいかどうかを判断するために使用する基準が有意水準で, “α” で表現します.

一般的には,有意水準として5%(α=0.05)を規定します.

これは同じ実験を20回繰り返したとき,1回は有意差が無いけど有意差があると判定される確率を表します.

スポンサーリンク

有意差があるとは?

論文では, “p-value less than 0.05 was considered to be statistically significant.” のような表現をよく見かけますね.

これには次のような意味があります.

群間に偶然差が出てしまうことはあり得る.

だから,その差を偶然と見なすかどうかを判断する基準が必要だ.

今回はその基準を5%としよう!

ココでのポイントは,有意水準は研究者自身が設定する基準ということです.

研究者自身が規定する有意水準の値で,結論(帰無仮説を棄却する/保留する)が変わるんです.

p値と得られた差の関係

繰り返しになりますが,p値は観察された群間の差が偶然生じる確率を表します.

実験で得られた「差」の指標ではありません.

つまり,p値と得られた群間差の間に因果関係や相関関係はありません

「p値が小さければ小さいほど,群間差が大きい」などの概念は存在しません.

有意水準を規定するのはいつか?

統計解析のことを考えてから実験デザインを考えるのが基本です.

一般的な流れは,次のようになります.

  1. 実験の目的を考える
  2. 比較対象を決める
  3. 検定方法を考える
  4. 有意基準を規定する
  5. 実験してデータを集める

実験を開始する前に「有意差がある」と判断する基準は決まっていますよ!

ところで,実験が終了してデータがそろってから検定方法を考える人は未だに多いです.

しかし,それはp-hackingと呼ばれている禁止行為です.

気をつけてくださいね!

p値と有意水準の記述

さて本題です.

p値と有意水準の記述は多様です.

“p<0.05” や “p<0.01” が多いですが,中には “p<0.001” や “p<0.0001” ってのも見かけます.

でも,p値をいたずらに強調しても意味はありません

先ほども書きましたが,p値と得られた群間差の間に因果関係や相関関係は無いのです.

もし,「p値が小さいほど,差が大きい」という傾向「p値が小さいほど,処置や介入の効果が高い」という概念が存在するのなら,p値を強調する意味もあるでしょう.

残念ながら,そのような傾向や概念はありません.

また,有意水準を規定するのは実験開始前です.

事前に “p<0.05” を「有意な差あり」と判断すると決め,統計解析後に “p<0.05” を確認できたのなら,それで十分なのです

得られたp値が “p<0.0001” だったという理由で,それを記述することや強調することに意味はありません

p値の小ささを強調したいのであれば,有意水準を小さく設定するべきです.

ガイドラインで定める雑誌もある

p値をいたずらに強調する人が多いからだと思いますが,投稿規定でp値と有意水準の記述を定めている雑誌もあります.

例えば, “British Journal of Pharmacology”(BJP)では,以下のように記述しています.

When comparing groups, a level of probability (P) deemed to constitute the threshold for statistical significance should be defined in Methods, and not varied later in Results (by presentation of multiple levels of significance). Thus, ordinarily P < 0.05 should be used throughout a paper to denote statistically significant differences between groups.

皆さんが投稿しようとしている雑誌にも,同様の記述があるかもしれません.

ぜひ確認してみてください!

スポンサーリンク


以上,p値と有意水準の規定【p値の強調の意味】でした.

最後までお付き合いいただきありがとうございました.

次回もよろしくお願いいたします.

2020年12月30日 フール