MMMの精度検証

MMMの推定結果を見て「この数字をそのまま予算配分に使ってよいのか」と迷ったら、まず確かめるべきはモデルの当てはまりの良さではなく、検証の有無です。学習データへの当てはまりがどれだけ良くても、それは過去の数字を再現できたという事実にすぎず、未来の予算判断に耐えるかどうかは別の話です。この記事では、MMMの結果を信じてよいかを確かめる3つの方法——ホールドアウト検証・実験結果との突き合わせ・不確かさの幅の読み方——を、それぞれどこまで分かってどこから先は分からないのかを含めて整理します。

なぜ「当てはまりの良さ」だけでは足りないのか

MMMの出力画面には決定係数（R²）や誤差の指標が並び、数値が高いほど良いモデルに見えます。しかし、この指標が測っているのは過去の売上をどれだけ再現できたかであって、媒体ごとの貢献度の切り分けが正しいかどうかとは別問題です。極端な例では、媒体費が互いに強く連動している状況でも当てはまり自体は良好なまま、個別媒体への貢献度の配分だけが不安定になることがあります。媒体費が一緒に動くことで生じるこの歪みはMMMの多重共線性とはで扱っているとおりで、当てはまりの数値からは見抜けません。だからこそ、当てはまり以外の角度から検証する工程が要ります。

確かめ方1：ホールドアウト検証

学習に使わなかった期間（ホールドアウト期間）の実績と、モデルの予測がどれだけ合うかを見る方法です。手順としては、まず全期間の直近1〜2割程度を検証用として取り分け、残りだけでモデルを学習させます。次に、その学習済みモデルで検証期間の売上を予測し、実績と突き合わせます。ここで大きく外れる場合は、モデルが過去の特定パターンに寄りかかりすぎている（過学習）可能性が高いと判断できます。

注意したいのは、検証用に取り分ける期間が短すぎると、季節の山を1回も含まないまま検証してしまい、当たっているのか外れているのか判断がつかない点です。必要なデータ期間の目安についてはMMMに必要なデータ期間は？で解説していますが、ホールドアウト検証まで見込むなら、そこに書いた最低ラインよりさらに余裕を持った期間を確保しておくのが実務的です。

確かめ方2：実験結果との突き合わせ（キャリブレーション）

MMMが出す「この媒体の増分効果はこれくらい」という推定値を、ジオ実験やA/Bテストといった介入型の検証結果と突き合わせる方法です。MMMは観測データから統計的に効果を推定する手法である一方、実験は特定の地域や集団に意図的に条件を変えて反応を測る手法なので、性質が異なります。両者の推定が大きくずれている場合、MMM側の前提（統制変数の不足、媒体費の連動など）を疑う手がかりになります。逆に近い値が出れば、その媒体についてはMMMの推定を信頼してよい根拠が1つ増えます。

MMM・実験・アトリビューションのそれぞれが何を測っているかの違いはMMMとアトリビューションの違いに、増分効果という軸での整理はインクリメンタリティとはにまとめてあります。すべての媒体で実験を組む必要はなく、予算配分の影響が大きい上位の媒体から優先して突き合わせる進め方が現実的です。

確かめ方3：不確かさの幅を読む

MMMの出力は「この媒体の効果は100」という一つの数字（点推定）だけでなく、推定にどれだけ幅があるかという情報も一緒に見る必要があります。ベイズ推定を使うモデルであれば、この幅は事後分布の区間として得られます。手法によって幅の出し方は異なりますが、いずれの場合も幅が広いほど、その数字だけを根拠に意思決定するのは危険という点は共通しています。ベイズ推定がMMMで使われる理由や事前分布の考え方はMMMのベイズ推定とはで解説しています。

以下は、3つの確かめ方をどんな場面で使うかの目安です。

3つは互いに代替ではなく、組み合わせて使うことでそれぞれの弱点を補い合います。ホールドアウト検証だけでは媒体間の配分の妥当性までは確認できず、実験だけでは全媒体を網羅できず、不確かさの幅だけでは推定そのものが偏っていないかまでは分かりません。

検証をせずに進めるとどうなるか

検証を省いて点推定をそのまま予算配分に使うと、たまたま学習期間に強く出た媒体へ予算が偏り、翌期に配分し直したら効果が出なかったという事態につながりかねません。信頼区間が広いまま「この媒体は貢献度が高い」と断定して報告すると、後になって実績が伴わず、MMMそのものへの信頼を失うことにもなります。検証の工程は地味ですが、結果を使う側の納得感と、モデルを継続して運用できるかどうかを左右します。

よくある質問

Q. ホールドアウト検証で外れたら、モデルは使えませんか。 外れ幅の大きさによります。多少のずれは避けられませんが、傾向自体が実績と逆を向いている場合は、統制変数の不足や多重共線性など、モデルの前提を見直す必要があります。

Q. 実験を組む予算がない場合、代わりの手段はありますか。 すべての媒体で実験を組めなくても、過去に偶然発生した出稿停止期間や大幅な予算変動があれば、それを疑似的な実験として推定と突き合わせる方法もあります。ただし意図的な実験ほどの確からしさは無いことは踏まえておく必要があります。

Q. 不確かさの幅はどこまで狭ければ安心できますか。 一律の基準はありません。点推定だけを見るのではなく、幅を含めて「配分を変えても結論が変わらないか」を確認する使い方が実務的です。

MMMの結果は、当てはまりの良さだけで信じるものではなく、ホールドアウト検証・実験との突き合わせ・不確かさの幅という3つの角度から確かめて初めて、意思決定に使える材料になります。統計じょうずのMMMクイック分析βは、学習期間の目安や媒体間の相関について警告を表示する仕組みを持っているので、まずそこから当てはまりの粗さを確認したうえで、必要に応じて実験によるキャリブレーションへ進む段取りで考えるとよいでしょう。