A/Bテストの有意差とは、「AとBに本当は差がない」と仮定したときに、観測されたほどの差が偶然出る確率が十分に小さい状態のことです。判定に必要なのは p値・信頼区間・サンプル数の3つだけで、改善率の大きさだけを見て決めてはいけません。この記事では、結果画面の数字をどう読み、どこで判断を誤りやすいかを、具体的な数値例で順に説明します。
まず結論：判定は3つの数字で決まる
A/Bテストの結果を前にしたとき、確認する順番は次のとおりです。
- サンプル比率に異常がないか（想定した振り分けどおりに人数が分かれているか）
- p値が有意水準を下回っているか（95%信頼水準なら 0.05 未満か）
- 改善率の信頼区間がビジネス上意味のある範囲に収まっているか
1が崩れていれば2と3は読む価値がありません。2だけを見て「勝った」と判断すると、3で「改善率は1%かもしれないし40%かもしれない」という不確かな結果を見落とします。統計じょうずでは、この3つを同じ画面に並べて表示しています。
「有意差がある」は何を意味しているのか
p値は多くの場面で誤って説明されています。正確には次の意味です。
p値＝「AとBに差がない」と仮定した世界で、今回観測されたのと同じかそれ以上に極端な差が偶然生じる確率
ここで大事なのは、p値が答えているのが「データの珍しさ」であって、「AとBに差がある確率」でも「Bが正しい確率」でもないことです。よくある誤読を整理します。
| よくある誤読 | 正しい理解 |
|---|---|
| p=0.03 は「差がない確率が3%」 | 差がないと仮定したとき、この差が出る確率が3% |
| p=0.03 は「Bが勝つ確率が97%」 | 勝敗の確率ではない。仮定の下でのデータの珍しさ |
| p<0.05 なら施策は成功 | 統計的な差であって、事業上の重要性は別 |
| p>0.05 なら差はない | 差がないのではなく、判断できるだけの証拠がない |
「統計的に有意」は、採用してよいかを検討する土俵に乗ったという程度の意味です。そこから先は改善幅と実装コスト、他の指標への影響で判断することになります。
同じ20%改善でも、判定は割れる
有意差はCV率の差だけでは決まりません。同じ改善率でも、サンプル数が違えば結論が逆になります。次の2つは、どちらもBが約20%改善している例です。
| ケース1 | ケース2 | |
|---|---|---|
| A | 3.00%（240/8,000） | 3.00%（24/800） |
| B | 3.60%（288/8,000） | 3.62%（29/800） |
| 相対改善率 | +20.0% | +20.8% |
| 改善率の95%信頼区間 | +1.4%〜+42.0% | −29.0%〜+105.7% |
| CV率の差の95%信頼区間 | +0.05〜+1.16%pt | −1.17〜+2.44%pt |
| p値 | 0.034 | 0.485 |
| 判定 | 有意差あり | 判断保留 |
ケース2は改善率こそ大きく見えますが、実態は「800人中29人と24人、たった5件の差」です。この規模なら5件程度は日によって普通に上下します。だから統計は「まだ何とも言えない」と答えます。
改善率のパーセンテージは、母数が小さいほど大きく振れるということです。管理画面で「+20%改善」という数字だけを見て意思決定すると、この違いを見落とします。
「有意差なし」は「差がない」ではない
ここが最も誤解されやすい点です。有意差が出なかったときに言えるのは「差があるとは言い切れなかった」だけで、「差がない」と証明されたわけではありません。
先ほどのケース2は、改善率の信頼区間が −29.0%〜+105.7% でした。この幅は「30%悪化しているかもしれないし、2倍になっているかもしれない」という意味です。差がないどころか、何も分かっていない状態を表しています。
したがって「有意差なし」のときに取るべき行動は、Bを捨てることではありません。
- 事前に決めた必要サンプル数に達しているかを確認する
- 達していなければ継続する
- 達したうえで区間が0付近に狭く収まっているなら、実質的な差はないと判断してよい
区間が狭いのか広いのかで、意味がまったく違います。必要サンプル数の決め方はA/Bテストのサンプルサイズ計算｜必要な人数と期間の決め方にまとめています。
判定を歪める4つの落とし穴
統計計算が正しくても、テストの運用側が崩れていれば結論は信用できません。実務で頻出するのは次の4つです。
1. 途中で何度も見て、有意になった時点で止める
これは最も影響が大きい問題です。差が本当にない場合でも、繰り返し覗いていれば、どこかのタイミングで偶然p値が0.05を下回ります。判定回数を増やすほど誤って「勝った」と結論する確率が上がるため、事前に決めた期間とサンプル数まで待つのが原則です。
2. 複数の指標から、都合のよいものだけを選ぶ
CV率・客単価・回遊率と10個の指標を見れば、差がなくてもどれかは偶然有意になります。主要指標を1つ事前に決めておき、他は参考として扱ってください。
3. サンプル比率不一致（SRM）を見逃す
50:50で振り分けたはずが 10,000人 対 9,400人 のように偏っている場合、振り分けや計測のどこかが壊れている可能性が高い状態です。この例のSRM検定はp=0.00002で、偶然では説明できない偏りです。原因を直さずに結果を読んでも意味がありません。
4. ガードレール指標を確認しない
CV率が上がっても、解約率や表示速度が悪化していれば全体では損をします。採用前に、悪化していないことを確認したい指標を決めておいてください。
テスト結果を読む手順のまとめ
- サンプル比率に異常がないか確認する
- 事前に決めた必要サンプル数に達しているか確認する
- p値が有意水準を下回っているか確認する
- 改善率の信頼区間の下限を見て、その改善幅でも実装する価値があるか判断する
- ガードレール指標が悪化していないか確認する
数値の計算自体は統計じょうずに人数と成果数を入れれば済みます。時間をかけるべきなのは、2と4と5の判断のほうです。
よくある質問
Q. 信頼水準は95%でよいですか。
一般的な web の施策検証では95%が標準です。誤って採用したときの損失が大きい変更（価格や課金導線など）では99%にする、逆に元に戻すコストが小さい変更では90%にするといった調整はあり得ます。ただし結果を見てから水準を変えるのは避けてください。事前に決めておくことが前提の指標です。
Q. 検出力（パワー）は何に使う数字ですか。
「本当に差があるとき、それを見逃さずに検出できる確率」です。テスト開始前に必要サンプル数を決めるために使うもので、80%を目安に設定します。結果画面に出る事後的な検出力は参考値で、これが低いからといって結果を割り引く根拠にはなりません。低い検出力は「差があっても気づけない設計だった」ことを示すので、次回のテスト設計に生かしてください。
Q. 3パターン以上を同時に比較してもよいですか。
比較の数を増やすほど、偶然どれかが有意になる確率が上がります。パターン数に応じて有意水準を厳しくする（ボンフェローニ補正など）か、まず2パターンで検証してから次の比較に進む運用をおすすめします。本ツールは2群の比較に対応しています。
Q. CV数が0件でも判定できますか。
片方のCVが0件の場合、相対改善率は計算できません（0で割ることになるため）。CV率の差とp値は計算できますが、この段階では判断材料として弱いので、サンプルを積み増してください。