多重性の問題 – 同じデータに検定をくりかえしてよいか？

この解説は Ver. 2（2025年6月21日更新）です．初出：2024年12月15日

統計的な意味での多重性の問題

同一のデータ群（具体例　実験あるいは観察で得た測定値・観察値の集団 『 対照，群A，群B，群C 』． 『 対照，処理 1，処理 2，処理 3，処理 4 』．『 対照，集団 1，集団 2．集団 3，集団 4，集団 5 』）について，統計処理を２回以上，繰り返すことは，以下に説明する多重性の問題を起こすことになるので，統計学的には正しくない統計解析である．

つまり，実験あるいは観察で得た測定値・観察値の集団 『 対照，群A，群B，群C 』，『 対照，処理 1，処理 2，処理 3，処理 4 』あるいは『 対照，集団 1，集団 2．集団 3，集団 4，集団 5 』などについて，正規分布の検出，外れ値の検出，等分散の検定などをしてから，スチューデントのｔ検定をすることは，統計学的には行ってはいけない行為になるのである．同様に多重検定をしたデータ群に対して，二元配置分散分析をすることも，多重性の問題を起こすため，統計学的には行って位はいけない行為になる．

しかし，基礎科学の統計学と応用科学の農学，園芸学あるいは植物分子生物学では，『 基礎学問として正しいこと 』　と　『 エビデンスとして利用できるデータを示すこと 』という相反する事象が起こってくる．簡単にいえば，基礎学問として正しくはないが，エビデンスとしてきれいなものを示すことを優先する場合もでてくるということである．

この場合分けの基準は，正しい統計解析が行われているかどうかをジャッジする人物たちによって変わってくる．たとえば，学術論文のレフェリーが 真摯な態度で統計学にとりくんでいる方の場合は，等分散の検定をしてから，等分散なら t 検定 ，一元配置分散分析をしていずれかの集団（群）に統計的に有意な差があることを認めてから Tukey – Kramer の多重検定をする という検定手順をとることはできない．

一方，きれいなエビデンスを示すために，基礎科学的には正しくはないことを黙認することが多い企業の方なら，等分散の検定をしてから，等分散なら t 検定 ，一元配置分散分析をしていずれかの集団（群）に統計的に有意な差があることを認めてから Tukey – Kramer の多重検定をする という検定手順をとってもよいとされる．

これまでこの統計解析の解説ブログでは，① 正規分布の検出，② 外れ値の検出，③ 等分散の検定 について解説してきた．これ以降は， t 検定 および Tukey – Kramer の多重検定について解説していくことになるであるが，統計的な意味での多重性について解説すべきであると考える．

同じデータ（可能ならな n = 5 以上）に異なる検定あるいは同じ検定を繰り返すと第 1 種の過誤が蓄積して増加する． これは t 検定を繰り返すという基本的なミスに代表される．同じデータについて帰無仮説に基ずく検定を繰り返すと，形成された帰無仮説の集団について第 1 種の過誤の確率が高くなる．

帰無仮説の集団ごとに第 1 種の過誤の確率 = 1−(1−有意水準)^{検定を繰り返す回数}

例 検定を 1 回だけおこなう場合　1-(1- 0.05)¹ = 0.05

例 検定を 2 回繰り返す場合　　　1-(1-0.05)2 = 0.0975

つまり，検定を 2 回繰り返すだけで 有意水準の 0.05 を越えてしまうことになる．近年まで論文でよくみられた t 検定を繰り返す統計解析の誤用の代表的な例である¹⁾．

¹⁾ 統計学的多重比較法の基礎　永田　靖夫

同じデータについて検出や検定を繰り替えると第 1 種の過誤の確率は高くなる

同じデータについて検出や検定を繰り替えると第 1 種の過誤の確率は高くなる²⁾．この理由は異なる検出あるいは検定などの統計解析を対象とするデータに繰り返しておこなうと，対象とするデータについて統計解析することの独立性が保てなくなるからである．

²⁾永田　靖　1998 多重比較法の実際　応用統計学　27(2) 93 – 108

事前のチェックとして検出あるいは検定をしてから，最終的な目的とする検定をする場合は，なんとか個別の手続きとして認めてもらえることが多い．しかし，学術論文などにおいて統計解析に真摯な態度をとるレフェリーならば，検出あるいは検定を同一のデータに行うことは，第 1 種の過誤を高めるとして認めてもらえない．

ケース・バイ・ケース　　

このブログも目的は『統計学をパワフルなツールとして利用すること』である．学術論文などにおいて統計解析に真摯な態度をとるレフェリー，あるいは，実社会において統計解析に真摯な方 などから 評価を受ける 場合はどうするかを以下に示す．

① Leven 検定あるいは F 検定で等分散性を確認してからスチューデントのｔ検定をおこなう．←　等分散性の確認が不要なWelchの検定を使う³⁾．

³⁾ 池田郁男　2019 改訂増補版：統計検定を理解せずに使っている人のためにII　化学と生物 52(9) 569 – 572

② 一元配置分散分析をしていずれかの平均値が他の平均値と同じでないことを調べてから多重検定をおこなう　←　一元配置分散分析をすることなくTukey – Kramer の多重検定を使う⁴⁾

⁴⁾ 池田郁男　2019 改訂増補版：統計検定を理解せずに使っている人のためにⅢ　化学と生物 52(10) 629 – 647

まとめ

① 同じデータについて検出や検定を繰り替えると第 1 種の過誤の確率は高くなる．

② 最終的な検定をおこなうまえの検出あるいは検定は手続きであるとして認めてもらう．

③ 事前の検出あるいは検定として認めてもらえないときは，事前の検出あるいは検定をしないですむ統計解析法をおこなう．