効果量とは、施策の前後や2つのグループの間に生じた差の大きさそのものを表す指標です。統計的な有意差（p値が基準を下回るかどうか）は「その差が偶然でも起こりうるものか」を判定するだけで、差が実務上どれくらい意味を持つ大きさなのかは教えてくれません。サンプルサイズが大きくなるほど、わずかな差でも有意差は出やすくなるため、有意差の有無と効果量の大きさは別々に確認する必要があります。この記事では、効果量が何を表すのか、有意差との関係、そして実務でどう読めばよいかを整理します。
有意差と効果量は別の問いに答えている
統計的検定が答えるのは「この差は偶然のばらつきで説明できるか」という問いです。一方で効果量が答えるのは「その差はどれくらいの大きさか」という問いで、サンプルサイズの影響を受けにくい指標として設計されています。
この2つを混同すると、次のような読み違いが起こります。
- サンプルサイズが数万件規模のテストでは、コンバージョン率が0.1ポイントしか変わらなくても有意差が出ることがあります。統計的には「差がある」と言えても、事業上その差を追いかける価値があるかは別問題です。
- 逆に、サンプルサイズが小さいテストでは、実務上大きな差が出ていても有意差に届かないことがあります。この場合の「有意差なし」は「差がない」ではなく、判断材料が不足しているだけという可能性が残ります（この検出力の問題は検出力とはの記事で扱っています）。
つまり、有意差は「偶然かどうか」のふるいであり、効果量は「意味があるかどうか」の目安です。どちらか一方だけを見て意思決定すると、どちらの方向にも判断を誤りえます。
効果量の代表的な指標
効果量にはいくつかの表し方があり、扱うデータの種類によって使い分けます。
| 指標 | 何を測るか | よく使う場面 |
|---|---|---|
| 差の絶対値・相対改善率 | 2つの割合や平均の差そのもの、あるいは比率 | コンバージョン率・売上単価などの実務指標 |
| Cohen's d | 平均の差を、ばらつき（標準偏差）の単位で表したもの | 連続値（購入額・滞在時間など）の比較 |
| リスク差・リスク比（オッズ比） | 2群の割合の差・比 | A/Bテストのコンバージョン率比較 |
Cohen's dには、心理学分野を中心に広く引用される目安として「0.2前後で小さい」「0.5前後で中程度」「0.8以上で大きい」という慣例的な区分があります。ただしこれは分野横断的な経験則であり、扱う指標や業種によって「意味のある差」の水準は変わるため、絶対的な合否基準として使うのは避けたほうが安全です。
実務では、Cohen's dのような標準化された指標よりも、「コンバージョン率が何ポイント改善したか」「売上が何%伸びたか」というそのままの単位の差のほうが意思決定には直結します。標準化指標は、異なる指標同士の効果の大きさを横並びで比べたいときに使う場面が中心です。
数値で見る「有意差はあるが効果量は小さい」ケース
次の例は、サンプルサイズが十分に大きい場合に起こりやすい状況です。
現行版のコンバージョン率が10.0%、新版が10.3%だったとします。それぞれ10万人ずつにテストを行った場合、この0.3ポイントの差は統計的には有意差ありと判定されることがあります。しかし、0.3ポイントの改善が売上や工数に見合うほどの価値を持つかどうかは、統計とは別に事業側で判断する必要があります。実装や運用に大きなコストがかかる変更であれば、有意差があっても見送るという判断が妥当な場合もあります。
逆に、あるキャンペーンの前後でコンバージョン率が10.0%から13.0%へ上がったものの、サンプルサイズが小さく有意差の基準に届かなかったとします。この3ポイントという差の大きさ自体は事業的に十分魅力的な水準であり、「効果がなかった」と結論づけるより、サンプルサイズを増やして再検証する方が妥当な判断になりやすいケースです。
効果量を実務でどう使うか
- テストを始める前に「意味のある最小の差」を決めておく。効果量の目安を先に決めておくと、有意差が出たときに「追いかける価値があるか」をその場で判断できます。
- 有意差が出た施策ほど、効果量もあわせて報告する。p値だけを並べた報告は、小さな差を大きな成果のように見せてしまうことがあります。
- 効果量が大きいのに有意差が出ない場合は、サンプルサイズ不足を疑う。効果量そのものは有望なので、打ち切る前に必要な人数を見積もり直します。
統計じょうずのA/Bテスト分析では、人数と成果数を入力すると、有意差の判定に加えて差の大きさ（相対改善率や信頼区間）も同時に表示されます。有意差の有無だけでなく、差の大きさそのものを確認しながら判断を進められます。
効果測定の手法をどう選ぶかという全体像は、効果測定手法の使い分けでも整理しています。
よくある質問
Q. 効果量にも「これ以上あれば十分」という絶対的な基準はありますか。
Cohen's dの目安のような一般的な区分はありますが、業種や指標によって「意味のある差」の水準は変わるため、そのまま合否基準として使うのは避けたほうが安全です。自社の指標にとってどれくらいの差が事業上重要かは、統計の目安だけでなく事業判断として先に決めておくことをおすすめします。
Q. 効果量が大きければ、必ず施策を採用すべきですか。
必ずしもそうとは限りません。効果量が大きくても、サンプルサイズが小さいままでは偶然のばらつきによる見かけ上の差である可能性が残ります。有意差の確認と、実装・運用にかかるコストの両方をあわせて判断してください。
Q. 効果量はA/Bテスト以外の効果測定でも使う考え方ですか。
はい。施策前後比較や地域比較（差分の差分法）でも、「差が偶然かどうか」と「差の大きさが実務上意味を持つか」は別の問いとして、同じように分けて確認する価値があります。
Q. 入力したデータはどこかに送信されますか。
統計じょうずの計算はブラウザ内で完結し、入力した数値やCSVはサーバーへ送信も保存もしません。