MMMを回してみたものの「この数字は信じられない」と感じるとき、原因の大半は次の4つのどれかに当てはまります。データ期間が足りていない、媒体費が一緒に動いていて切り分けられない（多重共線性）、複数の施策が重なって効果が混ざっている、そしてデータの粒度や欠損・外れ値の問題です。モデルの数式そのものが間違っているケースはむしろ少なく、多くは入力データが持つ情報の限界が結果に表れています。この記事では、症状からどの原因を疑うべきかを整理し、それぞれの見直し方をまとめます。
症状から原因を切り分ける
まず、出てきた結果のどこに違和感があるかで、疑うべき原因の見当がつきます。
| 気になる症状 | 疑うべき原因 |
|---|---|
| 効いているはずの媒体の貢献度がマイナスになる | 多重共線性（媒体費が同じタイミングで動いている） |
| 信頼区間（推定の幅）が極端に広い | データ期間の不足、または多重共線性 |
| 学習期間を少しずらすと貢献度の順位が入れ替わる | データ期間の不足、検証不足のまま点推定を信じている |
| 特定の月だけベースラインが不自然に高い・低い | 広告以外の要因（統制変数）を入れていない、施策の重複 |
| 全体の当てはまりは良いのに個別媒体の内訳が毎回動く | 多重共線性、または媒体の出稿データそのものの粒度不一致 |
複数の症状が同時に出ている場合は、原因も複数重なっていることが多く、1つ直しただけでは解消しないことがあります。
原因1：データ期間が足りていない
季節性と広告効果を分けるには、最低でも季節の山を1回は観測している必要があります。目安は週次で52週間（1年）が最低ライン、季節性まで安定して分離するなら104週間（2年）です。52週間ぎりぎりで組んだモデルは、検証用に回せる期間がほとんど残らず、学習期間を少しずらすだけで結果が動きやすくなります。必要なデータ期間の目安と、足りないときの進め方はMMMに必要なデータ期間は？で詳しく扱っています。
原因2：多重共線性（媒体費が一緒に動いている）
セール期や年末商戦では複数の媒体を一斉に増額し、予算が厳しい時期は一斉に絞るのが普通の運用です。この「媒体費が同じ波形で動く」状態が多重共線性で、係数の符号反転や信頼区間の異常な広がりの多くはここに原因があります。相関行列やVIF（分散拡大係数）で気づく方法、相関の高い媒体をグループ化する・事前分布で制約する・実験で補正するといった対処法はMMMの多重共線性とはにまとめてあります。データを増やしても、媒体を独立に動かした実績がない限りは解消しない点が見落とされがちです。
原因3：施策が同時に走っている
広告以外の値下げキャンペーン、テレビ露出、店頭施策などが広告の増減と同じタイミングで重なっていると、モデルは広告の効果とその他の施策の効果を1つの数字に押し込んでしまいます。結果として、特定の媒体の貢献度が実態より大きく（あるいは小さく）出ることがあります。対処としては、価格やキャンペーンの有無を統制変数としてモデルに入れる、あるいは影響が大きい施策の実施期間を記録しておき、後から結果と突き合わせて説明できるようにしておくことが実務的です。広告の増分効果そのものをどう捉えるかという考え方はインクリメンタリティとはでも整理しています。
原因4：データの粒度・品質
日次のデータを無理に週次へ丸めた際の集計方法の違い、媒体ごとに取得元がバラバラで定義が揃っていない出稿額、極端な外れ値を含んだまま学習させた期間などは、モデルの数式とは関係ないところで結果を歪めます。特に、キャンペーン管理システムの乗り換えなどで同じ「広告費」でも集計範囲が期の途中で変わっているケースは見落としやすく、グラフにして目視で確認しないと気づけません。
分析に入れる前にCSVの欠損・外れ値を確認する作業は、結果の信頼性を左右する地味ですが重要な工程です。特定の週だけ売上が桁違いに大きい・広告費が0のまま続いている期間があるといった状態は、モデルに投入する前に見つけておかないと、その期間だけがモデル全体の推定を引っ張ってしまいます。手元のCSVに欠損や外れ値がどれくらいあるかをまず確認したい場合は、統計じょうずのCSVデータ診断で、モデリングに入る前の状態を把握しておくと手戻りを減らせます。
統計じょうずでの確認の進め方
統計じょうずのMMMクイック分析βは、データ期間が目安に届いていない場合や媒体間の相関が高い場合に警告を表示する仕組みを持っています。結果に違和感があるときは、まずこの警告の有無を確認し、警告が出ていなければ次に相関行列や学習期間をずらした感応度チェックといった、より踏み込んだ点検に進むという順序で考えると効率的です。警告を無視して個別媒体の内訳をそのまま意思決定に使うのは避け、グループ単位の傾向から当たりをつける使い方が現実的です。
よくある質問
Q. 結果が「うまくいっていない」かどうかは何を見て判断すればよいですか。 上の表にある症状（係数の符号、信頼区間の広さ、期間をずらしたときの安定性）を確認するのが出発点です。点推定の数字だけを見て違和感の有無を判断するのは避け、幅や安定性まで含めて評価してください。
Q. データを増やせば大抵の問題は解決しますか。 期間不足が原因であれば効きますが、多重共線性が原因の場合は媒体を独立に動かした実績が増えない限り解消しません。原因を切り分けずにデータの蓄積だけを待つと、時間をかけても同じ結果になることがあります。
Q. 簡易的なツールでも原因の切り分けはできますか。 警告表示があるツールであれば、期間不足や相関の高さといった主要な原因の当たりはつけられます。ただし個別媒体の内訳まで確定させたい場合は、VIFの算出や実験によるキャリブレーションといった、より本格的な分析が必要になります。
MMMの結果に納得できないときは、モデルの作り方を疑う前に、まず症状から原因を切り分けることが近道になります。データ期間・多重共線性・施策の重複・データ品質の4点を順に確認し、統計じょうずのMMMクイック分析で警告が出ていないかを見ながら、必要に応じて実験による裏取りに進むという段取りで考えるとよいでしょう。