効果測定の手法選びで最初に見るべきは、「配信をランダムに分けられるか」と「比べる相手がいるか」の2点です。個人単位でランダムに配信を止められるならA/Bテスト、地域や店舗単位でしか分けられないなら地域比較（DiD）、比較対象がなく前後の時系列しかないなら施策前後比較、複数チャネルの予算配分を横断的に見たいならMMM、という順に絞り込めます。どれを使うか迷う前に、まず手元のデータで何が測れるかをCSV診断で確認しておくと遠回りをせずに済みます。この記事では、5つの手法の役割分担と、状況別の選び方を整理します。
効果測定の5つの手法と役割
効果測定と一口に言っても、扱う対象も必要なデータも手法ごとに違います。まず全体像を並べます。
| 手法 | 何を比べるか | 向いている場面 | 必要なデータ |
|---|---|---|---|
| A/Bテスト | 配信の有無をランダムに分けた2群 | 単一チャネルの1施策を厳密に検証したい | ランダム化できる配信基盤、十分な母数 |
| 施策前後比較 | 施策前の時系列トレンドと施策後の実績 | 比較対象がなく前後のデータしかない | 施策前28期間以上・施策後14期間以上の目安 |
| 地域比較（DiD） | 実施地域と対照地域の施策前後の差 | オフライン施策や地域単位の施策 | 実施エリアと対照エリア、施策前後のデータ |
| MMM | 複数チャネルの広告費と売上の時系列 | 予算配分を横断的に見直したい | 週次なら52期間（約1年）以上の売上・広告費データ |
| CSV診断 | 手元データの欠損・外れ値・傾向 | どの手法にかける前の下準備 | 分析したいCSV1本 |
CSV診断だけは他の4つと性質が違い、単独で効果を測る手法ではありません。データの欠損や外れ値、傾向のクセを先に確認しておく位置づけで、統計じょうずのCSVデータ診断で試せます。残る4つが実際に「効果があったかどうか」を判定する手法です。
選び方の3つの分かれ道
具体的な状況から手法を絞り込むときは、次の3つの問いを順番に確認すると迷いにくくなります。
- 配信をランダムに分けられるか。 Webの配信基盤で個人単位のランダム化ができるなら、最も直接的に効果を確かめられる統計じょうずのA/Bテスト分析が候補になります。判定の読み方はA/Bテストの有意差判定で扱っています。
- ランダム化できないが、比較対象（地域・店舗）はあるか。 テレビCMや店頭施策のようにユーザー単位で分けられない場合でも、実施エリアと対照エリアを分けられるなら地域比較が使えます。仕組みは差分の差分法とは、実際の計算は統計じょうずの地域比較（DiD）で行えます。
- 比較対象がなく、前後の時系列しかないか。 全社一斉のキャンペーンなど対照群を作れない施策では、施策前のトレンドと曜日パターンから「施策がなかった場合」を推定する施策前後比較を使います。統計じょうずの施策前後機能に対応しています。
この3つのどれにも当てはまらず、単一施策ではなく複数チャネルの予算配分そのものを見直したい場合は、個々の施策を検証する手法とは目的が変わります。この場合はMMMで媒体横断の貢献度を推定します。仕組みはMMMとは、実際の試算は統計じょうずのMMMクイック分析で行えます。
手法を取り違えるとどうなるか
選ぶ手法を間違えると、単に精度が落ちるだけでなく、判断そのものを誤ります。
- 比較対象がないのにA/Bテストの発想で判定する：全ユーザーに配信した施策を前後の数字だけで「効果あり」と判定すると、季節性やトレンドによる変化を施策の成果と取り違えます。
- 地域比較で対照地域を選ばずに実施地域だけを見る：対照地域がなければ、同時期に起きた市場全体の変化と施策の効果を切り分けられません。
- 単一チャネルの検証にMMMを使う：MMMは複数チャネルを横断する集計データの手法で、1つの施策だけを厳密に検証したい場合はA/Bテストや地域比較の方が答えがはっきりします。
- 多重共線性を確認せずMMMの配分結果を鵜呑みにする：複数の媒体費を同時に増減させていると、どの媒体の効果かを分離しにくくなります。この落とし穴はMMMと多重共線性で扱っています。
いずれも、手法そのものの計算が間違っているわけではなく、その手法が前提とする条件がそろっていないまま使ってしまうことが原因です。
状況別の早見表
自分の状況がどの手法に近いかを、具体的な場面で確認できるようにまとめました。
| 状況 | 向いている手法 |
|---|---|
| Web広告の1施策をランダム化して検証したい | A/Bテスト |
| テレビCMや折込チラシなど、地域単位でしか配信を分けられない | 地域比較（DiD） |
| 全社一斉のキャンペーンで、比較対象を作れなかった | 施策前後比較 |
| 複数の広告チャネルの予算配分を年間で見直したい | MMM |
| どの手法を使うか決める前に、データの状態を確認したい | CSV診断 |
MMMとアトリビューション分析との違いにも注意
MMMを検討する段階では、広告管理画面のアトリビューション分析（クリック起点の接点分析）と混同しないことも重要です。両者は粒度も前提も異なり、片方の数字がもう片方と一致しないのは測っているものが違うためです。詳しい比較はMMMとアトリビューションの違いにまとめています。また、A/Bテスト・地域比較・MMMの3つを「広告の増分効果を測る」という共通の軸で比較したい場合はインクリメンタリティとはも参考になります。
よくある質問
Q. 複数の手法を組み合わせて使ってもよいですか。 A. 実務ではむしろ組み合わせるほうが一般的です。MMMで大枠の予算配分を決めたうえで、一部の施策だけ地域比較やA/Bテストで検証し、その結果でMMMの推定値を補正する運用が広がっています。
Q. データが少ない場合、どの手法から始めるべきですか。 A. まずCSV診断で手元のデータの欠損や期間の長さを確認し、A/Bテストのようにランダム化できる施策があればそこから始めるのが手堅い進め方です。施策前後比較や地域比較は、施策前の期間が短いと季節性やトレンドと施策効果を見分けにくくなります。
Q. オフライン施策とオンライン施策で手法を分ける必要がありますか。 A. 手法を分けるかどうかは媒体がオフラインかオンラインかではなく、ランダム化できるか、比較対象を用意できるかで決まります。オンライン施策でも配信基盤側の制約でランダム化できない場合は、地域比較や施策前後比較の対象になります。
Q. 統計じょうずの5つの機能はすべて無料で使えますか。 A. はい。統計じょうずはA/Bテスト分析・施策前後・地域比較（DiD）・MMMクイック分析・CSVデータ診断のすべてを登録不要・無料で提供しています。計算はブラウザ内で完結し、入力したデータはサーバーへ送信しません。
効果測定の手法選びは、施策の内容そのものよりもランダム化できるか、比較対象があるか、対象が単一施策か複数チャネルかという3つの軸で決まります。まずは統計じょうずのCSVデータ診断で手元のデータの状態を確認し、そのうえで統計じょうずの4つの分析機能から自分の状況に合うものを選んでみてください。