検出力（statistical power）とは、本当に差がある状況で、統計的検定がその差を正しく「有意差あり」と見つけ出せる確率のことです。検出力が低いテストで「有意差なし」という結果が出ても、それは施策に効果がないことの証明にはなりません。効果はあるのに、データ不足でそれを検出できなかっただけという可能性が残るためです。この記事では、検出力の意味と、それを左右する要素、そして「有意差なし」という結果をどう受け止めればよいかを整理します。
検出力とは何か
検出力は「本当に差がある状況で、その差を正しく見つけ出せる確率」を指します。検出力80%のテストであれば、実際に効果がある施策のうち20%は「有意差なし」として見逃してしまう設計だということになります。
よく混同されるのが有意水準（通常5%）との違いです。有意水準は「本当は差がないのに、誤って差があると判定してしまう確率」の上限を指します。一方の検出力は「本当に差があるのに、それを見逃さない確率」を指しており、守っている失敗の種類が逆向きです。有意水準ばかりに注目してテストを設計すると、検出力の低さという別の落とし穴に気づかないまま結果を解釈することになります。
検出力を左右する4つの要素
検出力は単独の設定値ではなく、次の4つの要素の組み合わせで決まります。
| 要素 | 検出力への影響 | 実務での動かし方 |
|---|---|---|
| サンプルサイズ | 増やすほど検出力は上がる | 実施期間やトラフィックの上限に制約される |
| 検出したい効果の大きさ | 小さい差を狙うほど検出力は下がる | 「意味のある最小の差」を事業判断として先に決める |
| 有意水準 | 緩めるほど検出力は上がる（誤検出も増える） | 慣例的に5%のまま動かさないことが多い |
| 指標のばらつき | 大きいほど検出力は下がる | 指標の選び方や外れ値の処理で抑える |
このうち実務で調整しやすいのは、検出したい効果の大きさとサンプルサイズです。有意水準を緩めて検出力を稼ぐやり方は、誤検出の増加という別のコストを支払うことになるため、あまり勧められません。
「有意差なし」で何を見落としているか
検出力が例えば50%しかないテストでは、本当に効果がある施策の半分を「有意差なし」として取りこぼしてしまいます。特にコンバージョン率が1〜2%程度と低いサービスや、検出したい改善幅が5%程度と小さいケースでは、想定よりはるかに多い人数が必要になり、実施期間中に検出力が不足したまま終わることが珍しくありません。
このとき「有意差なし」は「効果がないと確認できた」という意味ではなく、「判断できるだけのデータが集まらなかった」という意味に近くなります。ここを取り違えると、本当は効果のある施策を「効果なし」と結論づけて捨ててしまうことになりかねません。逆に、検出力が十分に確保されたテストで「有意差なし」が出た場合は、小さすぎて実務上意味のない差しかない、という解釈のほうが妥当になります。同じ「有意差なし」でも、検出力の水準によって読み方が変わる点が重要です。
事後検出力を計算する意味と注意点
テストが終わったあとに、実際に得られたサンプルサイズと観測された差から「このテストの検出力はどれくらいだったか」を逆算したものを事後検出力（post-hoc power）と呼びます。統計じょうずのA/Bテスト分析では、人数と成果数を入力すると事後検出力が自動で表示され、「有意差なし」という結果が本当にデータ不足によるものかどうかを判断する手がかりになります。
ただし事後検出力の使い方には注意が要ります。観測された効果量をそのままあてはめて検出力を計算し直すやり方は、有意差が出なかった結果からは低い事後検出力しか出てこない構造になりがちで、統計的にはあまり意味のある使い方とされていません。事後検出力は「今回の結果を正当化する道具」としてではなく、「次にテストを設計するときにどれくらいの人数が要りそうか」を見積もる参考値として使うのが安全です。
検出力を確保するための現実的な打ち手
- テストを始める前に、検出力80%を基準として必要サンプルサイズを見積もっておく。事前の見積もりであれば、後から「足りなかった」と気づく事態を避けられる
- 検出したい最小の効果の大きさを、統計ではなく事業判断として先に決める。小さすぎる差を追おうとすると必要人数が跳ね上がり、現実的な期間で終わらなくなる
- 指標のばらつきが大きい場合は、比率（あり・なし）ではなく購入額のような連続値に近い指標へ寄せる、あるいは外れ値の処理を先に済ませておく
- 実施の途中で検出力が足りないと分かった場合は、無理に結論を出さず、実施期間の延長やテスト対象の拡大を検討する
統計じょうずではA/Bテスト分析のほか、施策前後比較・地域比較（差分の差分法）・CSVデータ診断・MMMクイック分析を登録不要・無料で使えます。検出力の考え方はA/Bテスト以外の効果測定手法にも共通するため、効果測定手法の使い分けもあわせて確認してみてください。
よくある質問
Q. 検出力80%はなぜ標準とされているのですか。
慣例的に広く使われている値であり、絶対的な基準ではありません。見逃しのコストが特に大きい意思決定では、より高い検出力を求める分野もあります。分野ごとの標準的な水準は、各領域の一次情報や専門家の見解を確認してください。
Q. 検出力を上げるために有意水準を緩めてもよいですか。
有意水準を緩めると、本当は差がないのに「差がある」と誤って判定してしまう確率が増えます。検出力と有意水準はトレードオフの関係にあるため、見逃しと誤検出のどちらのコストが自社にとって大きいかで判断するのが現実的です。
Q. サンプルサイズを増やせば検出力の問題はすべて解決しますか。
理論上は増やすほど検出力は上がりますが、実施期間やトラフィックには上限があります。サンプルサイズだけに頼るのではなく、検出したい効果の大きさを現実的な水準に見直すことも合わせて検討してください。