多重性の問題 – 同じデータに検定をくりかえしてよいか？

統計的な意味での多重性の問題

これまでこの統計解析の開設ブログでは，① 正規分布の検出，② 外れ値の検出，③ 等分散の検定 について解説してきた．これ以降は t 検定 および Tukey – Kramer の多重検定について解説していくことになるであるが，統計的な意味での多重性について解説すべきであると考える．

同じデータ（可能ならな n = 5 以上）に異なる検定あるいは同じ検定を繰り返すと第 1 種の過誤が蓄積して増加する． これは t 検定を繰り返すという基本的なミスに代表される．同じデータについて帰無仮説に基ずく検定を繰り返すと，形成された帰無仮説の集団について第 1 種の過誤の確率が高くなる．

帰無仮説の集団ごとに第 1 種の過誤の確率 = 1−(1−有意水準)^{検定を繰り返す回数}

例 検定を 1 回だけおこなう場合　1-(1- 0.05)¹ = 0.05

例 検定を 2 回繰り返す場合　　　1-(1-0.05)2 = 0.0975

つまり，検定を 2 回繰り返すだけで 有意水準の 0.05 を越えてしまうことになる．近年まで論文でよくみられた t 検定を繰り返す統計解析の誤用の代表的な例である¹⁾．

¹⁾ 統計学的多重比較法の基礎　永田　靖夫

同じデータについて検出や検定を繰り替えると第 1 種の過誤の確率は高くなる

同じデータについて検出や検定を繰り替えると第 1 種の過誤の確率は高くなる²⁾．この理由は異なる検出あるいは検定などの統計解析を対象とするデータに繰り返しておこなうと，対象とするデータについて統計解析することの独立性が保てなくなるからである．

²⁾永田　靖　1998 多重比較法の実際　応用統計学　27(2) 93 – 108

事前のチェックとして検出あるいは検定をしてから，最終的な目的とする検定をする場合は，なんとか個別の手続きとして認めてもらえることが多い．しかし，学術論文などにおいて統計解析に真摯な態度をとるレフェリーならば，検出あるいは検定を同一のデータに行うことは，第 1 種の過誤を高めるとして認めてもらえない．

ケース・バイ・ケース　　

このブログも目的は『統計学をパワフルなツールとして利用すること』である．学術論文などにおいて統計解析に真摯な態度をとるレフェリー，あるいは，実社会において統計解析に真摯な方 などから 評価を受ける 場合はどうするかを以下に示す．

① Leven 検定あるいは F 検定で等分散性を確認してからスチューデントのｔ検定をおこなう．←　等分散性の確認が不要なWelchの検定を使う³⁾．

³⁾ 池田郁男　2019 改訂増補版：統計検定を理解せずに使っている人のためにII　化学と生物 52(9) 569 – 572

② 一元配置分散分析をしていずれかの平均値が他の平均値と同じでないことを調べてから多重検定をおこなう　←　一元配置分散分析をすることなくTukey – Kramer の多重検定を使う⁴⁾

⁴⁾ 池田郁男　2019 改訂増補版：統計検定を理解せずに使っている人のためにⅢ　化学と生物 52(10) 629 – 647

まとめ

① 同じデータについて検出や検定を繰り替えると第 1 種の過誤の確率は高くなる．
② 最終的な検定をおこなうまえの検出あるいは検定は手続きであるとして認めてもらう．
③ 事前の検出あるいは検定として認めてもらえないときは，事前の検出あるいは検定をしないですむ統計解析法をおこなう．