施策の前後で売上やCV数を比較して効果測定するときは、単純な「実施前の数字」と「実施後の数字」の差を見るだけでは不十分です。季節性・曜日・長期トレンドといった、施策と無関係に数字を動かす要因が混ざっているためです。正しく測るには、「施策がなかった場合はどうなっていたか」という反実仮想の推定値と、実際の数字との差で見る必要があります。この記事では、その考え方と具体的な手順を解説します。
単純な前後比較が失敗する理由
キャンペーンやCRM施策の前後で数字が動いたとき、そのまま差を効果と見なすと次のようなズレが起こります。
- 季節性：もともと売上が上がりやすい月・曜日に施策を打つと、施策と無関係な伸びまで効果に含めてしまう
- 長期トレンド：施策前から緩やかに増加・減少していた場合、その傾きをそのまま延長すべきところを、施策開始時点の水準だけで比較してしまう
- 曜日変動：週末とウィークデーで水準が違うデータを、期間の長さだけ揃えて比較すると誤差が出る
- 他の要因の重複：同時期の広告出稿・競合の動き・天候などが混ざり、施策単体の効果と区別できない
これらを取り除かないまま「前後で+15%だった」と報告すると、季節要因だけで説明できる変化を施策の成果として過大評価してしまう可能性があります。
反実仮想（施策がなかった場合の推定）という考え方
効果測定の本来の目的は、実際に起きたことと、「施策をしなかった場合に起きていたはずのこと（反実仮想）」を比べることです。反実仮想は観測できないため、施策前のデータから次のような情報を使って推定します。
- 施策前のトレンド：施策前の数字がどんな傾きで推移していたか
- 曜日パターン：曜日ごとの水準差をあらかじめ織り込む
- 比較系列：施策の影響を受けていない類似の指標（例：施策対象外の店舗・商品・エリアの数字）があれば、季節性や競合の動きなど共通要因を打ち消す手がかりになる
比較系列が用意できると、景気や天候といった同時期の共通要因を施策効果と切り分けやすくなります。用意できない場合でも、施策前のトレンドと曜日パターンだけで推定は可能ですが、その場合は「因果効果」ではなく構造変化の推定として、やや慎重に解釈する必要があります。
必要なデータと期間の目安
| 項目 | 目安 |
|---|---|
| 施策前の期間 | 28期間以上（日次データなら約4週間） |
| 施策後の期間 | 14期間以上 |
| 比較系列 | あれば精度が上がる（施策の影響を受けていない類似指標） |
| データの粒度 | 日次・週次など施策の効果が出るサイクルに合わせる |
施策前の期間が短いと、季節性や長期トレンドと施策効果を見分けにくくなります。逆に施策後の期間が短すぎると、効果が安定する前の一時的な変動を効果と誤認するおそれがあります。どちらも上記の目安を下回る場合は、参考値として扱ってください。
効果測定の手順
- 施策開始日を確定する：キャンペーン開始日やCRM配信日など、効果を測りたい起点を1つ決める
- 施策前後のデータを揃える：日付ごとの実績値（売上・CV数など）を、施策前28期間・施策後14期間以上を目安に用意する
- 比較系列があれば追加する：施策の対象外だが似た動きをする指標があれば、同じ期間で揃える
- 反実仮想と信頼区間を確認する：施策前トレンド・曜日・比較系列から推定した「施策なし推定」と、実際の数値の差（増分効果）を確認する
- 施策費を入力してROIの目安を見る：施策費がわかれば、施策費÷推定増分の形で費用対効果の目安を確認できる
統計じょうずの「施策前後」機能では、日付ごとの実績（と、あれば比較系列）を入力するだけで、この反実仮想と信頼区間、増分効果を自動で計算できます。計算はブラウザ内で完結し、登録やAIは使っていません。
結果を読むときの注意点
効果測定の結果は、次の3点を踏まえて解釈してください。
- 信頼区間が0をまたぐ場合は効果ありと言い切れない：増分効果がプラスに見えても、信頼区間の下限がマイナス側に及んでいれば、誤差の範囲内である可能性が残ります。
- 比較系列との施策前の相関が弱いと調整力は限定的：比較系列を使っていても、施策前の動きが実績値とあまり連動していない場合、季節性や競合の影響を十分に打ち消せていないことがあります。
- 施策後にマイナスの変化が出た場合は要因の切り分けを急がない：施策自体の逆効果だけでなく、同時期の値下げ停止・在庫切れ・計測変更など他の要因が混ざっていないかを先に確認してください。
「差分の差分法」との使い分け
似た手法に、実施エリアと対照エリアを比べる差分の差分法（DiD）があります。店舗や地域など「施策をした集団」と「していない集団」を同時期で比較できるならDiD、比較対象が同時期に存在せず施策前後の時系列でしか見られないなら施策前後比較を使う、という使い分けが目安です（施策前後比較は反実仮想推定にあたります）。両方の条件が揃う場合は、DiDの方が季節要因を強く打ち消せます。
よくある質問
Q. 比較系列がなくても効果測定はできますか。 A. できます。施策前のトレンドと曜日パターンだけでも反実仮想は推定できますが、同時期に起きた他の要因（競合・天候など）と施策効果を区別する力は比較系列がある場合より弱くなります。結果は「因果効果」ではなく構造変化の推定として、やや幅を持って解釈してください。
Q. 施策前のデータが28期間に届かない場合はどうすればよいですか。 A. 参考値として算出はできますが、季節性や長期トレンドを見分ける材料が少なくなるため、確度は下がります。可能な範囲でデータを蓄積し、期間が延びた段階で改めて確認することをおすすめします。
Q. 効果がマイナスと出たら、施策をすぐ止めるべきですか。 A. すぐに止める前に、同時期に起きた他の要因（値下げ施策の終了、在庫切れ、計測タグの変更など）がないかを確認してください。それらが見当たらず、信頼区間もマイナス側に寄っているなら、施策の見直し候補として検討する材料になります。
施策前後比較で効果測定する際は、単純な差ではなく季節性・曜日・トレンドを取り除いた反実仮想との差で見ることが出発点です。統計じょうずなら、実績データを入力するだけでこの反実仮想と信頼区間を自動で計算できるので、次の施策の判断材料として活用してください。