インクリメンタリティ（incrementality）とは、その広告を出さなかった場合と比べて、成果がどれだけ増えたかを指す言葉です。広告を見た人の購入率が高かったとしても、それだけでは広告の効果とは言い切れません。もともと買う気があった人にたまたま広告が表示されただけかもしれないからです。インクリメンタリティは「広告があった世界」と「広告がなかった世界」を比較して、その差分だけを効果として数える考え方です。この記事では、なぜ単純な相関では効果を過大評価しやすいのかを説明したうえで、増分効果を測るA/Bテスト・地域比較（DiD）・MMMの3つの方法を比較します。
相関ベースの評価が過大評価しやすい理由
広告の管理画面に表示される「広告経由のコンバージョン数」の多くは、広告を見た（クリックした）人が結果的に成果に至ったかどうかを数えているだけで、広告がなければ成果に至らなかったかどうかまでは見ていません。特にリターゲティング広告は、すでに購入意欲の高い人（カート放棄者や再訪問者）に配信されやすいため、広告を出さなくても一定割合は自然に購入していたはずです。この「広告がなくても発生していた成果」を差し引かずに広告の手柄として計上すると、実際の効果より大きく見積もってしまいます。
この過大評価の度合いは施策やチャネルによって大きく異なり、一律の係数で補正できるものではありません。だからこそ、何割が広告のおかげで増えた成果なのかを個別に確かめる必要があり、それがインクリメンタリティ測定の役割です。
増分効果を測る3つの方法
増分効果を確かめる方法にはいくつかの選択肢があり、どれも「広告を出した場合」と「出さなかった場合」の差を何らかの形で近似します。
| 方法 | 比較の単位 | 必要なもの | 向いている場面 |
|---|---|---|---|
| A/Bテスト | ユーザー単位でランダムに配信有無を分ける | ランダム化できる配信基盤、十分な母数 | 単一チャネルの1施策を厳密に検証したい |
| 地域比較（DiD） | 地域・店舗単位で配信有無や強弱を分ける | 実施地域と対照地域、施策前後のデータ | 個人単位でランダム化できない施策（テレビCM・チラシ等） |
| MMM | チャネル全体を時系列の集計データで推定 | 数か月〜数年分の売上・広告費データ | 複数チャネルを横断して予算配分を見直したい |
A/Bテストは、配信するグループとしないグループをランダムに分けられるなら最も直接的に増分効果を確かめられる方法です。ランダム化さえできていれば、両グループの違いは広告の有無だけになるため、差分がそのまま増分効果に近づきます。判定の考え方は統計じょうずのA/Bテスト分析で扱っています。
一方、テレビCMや新聞折込のようにユーザー単位でランダム化できない施策では、地域や店舗を単位にして実施エリアと対照エリアを比べる方法が使われます。この考え方は差分の差分法（DiD）と呼ばれ、差分の差分法とはで詳しく解説しています。地域比較は統計じょうずの地域比較（DiD）で実際に試せます。
MMMは、個々のユーザーや地域を分けず、日次・週次の売上と広告費の集計データから統計的に貢献度を推定する方法です。実験のようにグループを分けなくても複数チャネルを同じ土俵で比較できる一方、推定にはモデルの前提が伴います。仕組みはMMMとは、MMMとアトリビューション分析の違いはMMMとアトリビューションの違いで扱っています。統計じょうずのMMMクイック分析βは52期間（週次で約1年分）のデータから試算できます。
測定にかかる手間と精度のトレードオフ
3つの方法は、精度と手間の釣り合いも異なります。A/Bテストは最も直接的に増分効果を確かめられますが、ランダムに配信を止められるだけの規模と、配信基盤側の対応が必要です。すでに全ユーザーに配信している既存施策を今から止めて対照群を作るのは、機会損失やクライアントへの説明の面でハードルが上がります。
地域比較（DiD）は、個人単位で配信を止めなくてよい分ハードルは下がりますが、代わりに実施地域と傾向が似ている対照地域を見つける必要があります。人口規模や季節性が大きく異なる地域を対照にすると、施策以外の要因で数字が動いてしまい、比較そのものが成り立ちません。
MMMは新たに実験を組む必要がない分、着手のハードルは最も低く見えます。ただし、その分数か月〜数年分の売上・広告費データの整備が前提になり、媒体費が同時に増減しているとどの媒体の効果かを切り分けにくくなる（多重共線性）などモデル特有の注意点も抱えます。手間をかけずに済ませられる方法というより、どこに手間をかけるかが違うという理解が実情に近いところです。
どの方法を選べばよいか
3つの方法は優劣ではなく、ランダム化できるかどうかと扱いたいチャネルの数で使い分けるものです。
- 1つのオンライン施策を厳密に検証したい：配信基盤でランダム化できるなら、A/Bテストが最も答えがはっきりします。
- オフライン施策や地域単位の施策を検証したい：個人単位のランダム化ができないため、地域比較（DiD）で実施エリアと対照エリアを比べます。
- 複数チャネルの予算配分を見直したい：施策ごとに実験を組む代わりに、MMMで集計データから横断的に推定します。
実務では、MMMで大枠の配分を決めたうえで、一部の施策だけ地域実験やA/Bテストを行い、その結果でMMMの推定値を補正する運用も広がっています。どの方法も単独では万能ではなく、組み合わせて精度を補い合う関係にあると考えるのが実情に近い姿勢です。
よくある質問
Q. A/Bテストとインクリメンタリティ測定は同じものですか。 A. A/Bテストはインクリメンタリティを測る方法のひとつです。地域比較やMMMも、比較の単位や前提が異なるだけで、同じく増分効果を測るための手段にあたります。
Q. 広告管理画面の「コンバージョン数」を見ていれば十分ではないですか。 A. 管理画面の数値は広告を見た人の成果を数えているだけで、広告がなくても発生していた成果を差し引いていない場合がほとんどです。予算判断の材料にするなら、増分効果を別途確かめることをおすすめします。
Q. 小規模な事業でもインクリメンタリティを測るべきですか。 A. 施策数やチャネル数が少ないうちは、まず配信できる範囲でA/Bテストを組むのが手軽です。チャネルが増え、オフライン施策も含めて予算配分を見直したくなった段階でMMMの検討価値が出てきます。
Q. 地域比較（DiD）で対照地域が見つからない場合はどうすればよいですか。 A. 完全に条件がそろう地域は多くありません。人口規模や過去の売上推移が近い地域を複数候補として並べ、施策前の期間で両者の推移が同じように動いていたか（平行トレンドの仮定）を確かめたうえで選ぶのが実務的な進め方です。
インクリメンタリティは「広告の手柄をどこまで認めるか」を決める土台になる考え方です。まずは自分たちが持っているデータでどの方法が組めるかを、統計じょうずのA/Bテスト分析・地域比較・MMMクイック分析から確かめてみてください。