ABテストはいつまで続ける？期間の決め方と覗き見の注意点

ABテストは、開始前に決めた期間かサンプルサイズのどちらかに達するまで続けるのが原則です。テストの途中で毎日p値をチェックし、良さそうな数字が出た時点で止める運用は、実際には差がないのに「差がある」と誤って判定してしまう確率を大きく引き上げます。この記事では、なぜ早めに止めると危険なのか、正しい止め方、そして期間を延ばしてよい場面と延ばしてはいけない場面を整理します。

「毎日チェックして良さそうなら止める」が危険な理由

有意水準5%という数字は、「1回だけ検定したとき、本当は差がないのに誤って有意と判定してしまう確率」を表しています。ところが同じデータに対して日を追うごとに繰り返し検定をかけると話が変わります。データが積み上がっていく途中のどこかのタイミングで、たまたま誤って有意な値が出る瞬間が生まれやすくなり、その最初の瞬間で止めてしまえば、見かけ上は「有意差あり」という結果が量産されます。

この現象は覗き見問題（peeking problem）や繰り返し検定の誤りと呼ばれ、実験計画法の分野で古くから知られています。チェックする回数が増えるほど、最終的に「誤って有意」と判定してしまう確率は5%よりもかなり高くなっていきます。日次で結果を眺めること自体が悪いわけではありませんが、その場でp値を根拠に止める判断をしないことが重要です。

止めるタイミングは開始前に決める

覗き見問題を避ける基本的な考え方は、テストを始める前に「いつまで続けるか」を決めておき、そこに達するまでは判定しないというものです。決め方は次の2ステップです。

1. 現在のコンバージョン率と、検出したい最小の改善率から必要サンプルサイズを計算する
2. 必要サンプルサイズを1日あたりの流入数で割り、実施期間に換算する

サンプルサイズの計算方法はサンプルサイズを決める記事で詳しく扱っていますが、計算自体は統計じょうずのA/Bテスト分析の「必要数を計算」タブに現在のCV率と検出したい改善率を入れるだけで確認できます。テストを設計する段階でこの数値を出し、届くまでは判定しないと決めてから始めるのが、覗き見問題を避ける最も確実な方法です。

曜日変動を均すための最低期間

サンプルサイズの計算上は数日で必要人数に届く場合でも、それだけで止めるべきではないことがあります。平日と週末でコンバージョン率が大きく変わるサービスでは、1週間のうち一部の曜日しか含まれていない期間で判定すると、曜日の偏りを施策の効果と取り違えてしまいます。最低でも1〜2週間の完全なサイクルを含めることを、必要サンプルサイズとあわせて確認しておくとよいでしょう。

覗き見と事前設計の違い

期間を延ばしてよい場面・延ばしてはいけない場面

決めた期間に達する前でも、次のような場合は延長を検討して構いません。

• 想定より流入が少なく、必要サンプルサイズに届いていない
• 平日・週末のサイクルを1周分含められていない
• 配信不具合など、テストの前提が崩れる出来事があった

一方で、有意差が出た瞬間に「念のためもう少し続けよう」と判断を先延ばしにするのは避けたほうが安全です。有意になった時点で止めるか、有意にならなかった時点で止めるかにかかわらず、「途中経過を見て続けるかどうかを決める」こと自体が繰り返し検定と同じ構造を持つためです。事後にどうしても続けたい場合は、それを新しい別のテストとして扱い、あらためて期間とサンプルサイズを決め直す考え方が無難です。

よくある質問

Q. 有意差が出た時点ですぐに本番へ反映してよいですか。 事前に決めた期間・サンプルサイズにすでに達しているなら問題ありません。届く前に有意になった場合は、偶然のばらつきで有意差が出ている可能性が高く、そのまま反映すると再現しないことがあります。

Q. サンプルサイズを計算せずに始めてしまいました。 今からでも目標サンプルサイズを計算し、そこに達するまで待つ形に切り替えられます。すでに集まっているデータだけを見て途中で判定するのは避けましょう。

Q. 途中経過を安全に確認する方法はありますか。 アルファ消費(alpha spending)などを使った逐次的な検定手法もありますが、通常のt検定やカイ二乗検定をそのまま繰り返し使う設計とは異なります。導入する場合は統計学の専門書や実験計画に関する一次情報を確認してください。

止める基準を先に決めておくことは、有意差が出るかどうかの判定と同じくらい、ABテストの結果を信頼できるものにするために欠かせません。統計じょうずのA/Bテスト分析では、必要サンプルサイズの計算と、実際に集まったデータの有意差判定を同じ画面で行えるため、設計時に決めた基準と実際の判定を照らし合わせながら進められます。