多重性の問題 – 同じデータに検定をくりかえしてよいか?
統計的な意味での多重性の問題これまでこの統計解析の開設ブログでは,① 正規分布の検出,② 外れ値の検出,③ 等分散の検定 について解説してきた.これ以降は t 検定 および Tukey - Kramer の多重検定について解説していくことになるであるが,統計的な意味での多重性について解説すべきであると考える.同じデータ(可能ならな n = 5 以上)に異なる検定あるいは同じ検定を繰り返すと第 1 種の過誤が蓄積して増加する. これは t 検定を繰り返すという基本的なミスに代表される.同じデータについて帰無仮説に基ずく検定を繰り返すと,形成された帰無仮説の集団について第 1 種の過誤の確率が高くなる.帰無仮説の集団ごとに第 1 種の過誤の確率 = 1−(1−有意水準)検定を繰り返す回数例 検定を 1 回だけおこなう場合 1-(1- 0.05)1 = 0.05例 検定を 2 回繰り返す場合 ...