MARKETING ANALYSIS 02

無料A/Bテスト有意差判定ツール

A/Bテストの人数と成果数を入力するだけ。統計的な差、改善率、信頼区間を、次の行動まで分かる言葉で整理します。登録不要・無料で、計算はブラウザ内で完結します。

01 数字を入力02 差を検定03 判断を確認
WHAT YOU GET

感覚ではなく、差が本物かを確かめる。

このツールでわかることをまとめました。

偶然の差かどうかを判定する

AとBの訪問者数・成果数から両側2標本比率検定を行い、選んだ信頼水準で差が確認できるかを判定します。

「どれくらい良いか」を幅で示す

相対改善率とCV率の差を、点推定だけでなく信頼区間つきで表示します。1つの数字だけで判断しないための材料になります。

配信の偏りに気づける

想定した振り分け比率に対してサンプル数が偏っていないか（SRM）を検定し、偏りがあれば結果より先に警告を出します。

テスト前に必要人数を計算できる

「必要数を計算」タブで、現状のCV率・検出したい改善率・検出力から、1パターンあたりに必要な人数を求められます。

HOW TO USE

A/Bテスト分析の使い方

  1. 1
    AとBの数字を入れる各パターンの訪問者数と成果数を入力します。CSVから読み込むこともできます。
  2. 2
    信頼水準を選ぶ90%・95%・99%から選べます。特に理由がなければ95%のままで構いません。
  3. 3
    判定と次の確認事項を読む結論、改善率、信頼区間、p値、次に確認することが表示されます。
DATA YOU NEED

必要なデータ

2パターンぶんの訪問者数と成果数だけ。期間の長さは条件になりません。

CSVの列の例

variant,visitors,conversions

CSVは1ユーザー1行（成果は0/1）でも、上のような集計済みの形でも読み込めます。訪問者数は1以上、成果数は訪問者数以下である必要があります。

HOW TO READ

結果の見方

画面に出る主な項目と、その読み方です。

結論の見出し
「偶然だけでは説明しにくい」「まだ証拠が足りません」「配信比率に異常の可能性」の3種類です。2つ目は“差がない”という意味ではありません。
Bの相対改善率
AのCV率に対してBが何%良かったかです。括弧内の信頼区間が0%をまたぐ場合、改善が確認できたとは言えません。
p値
「差がない」と仮定したときに、観測された差以上の差が出る確率です。信頼水準95%なら0.05未満で有意差ありとしています。
検出力（参考）
観測された差に対する事後の近似値です。低い場合はサンプル数が足りず、差を見つけにくい状態です。
BがAを上回る確率
一様事前分布のベータ分布を正規近似した補助指標です。主判定は上の有意差判定で行ってください。
LIMITATIONS

注意点と分析上の限界

この分析でわかることには範囲があります。判断の前に確認してください。

  • 有意差は「偶然では説明しにくい」ことを示すもので、ビジネス上の重要性や因果関係を保証するものではありません。
  • 結果を見ながら都合のよいタイミングでテストを止めると、偶然の差を拾いやすくなります。必要人数を先に決め、そこまで判定しないでください。
  • 複数の指標を並べて、有意差が出たものだけを採用する使い方も同じ理由で誤判定を増やします。
  • 対応しているのは2パターンの比較です。3案以上を同時に比べる多群比較には対応していません。
  • 訪問者数と成果数の集計期間・除外条件（ボットなど）が両群で同じでないと、正しい比較になりません。
FAQ

よくある質問

「有意差なし」と出ました。AとBは同じということですか？＋

同じとは言えません。「差がないと確定した」のではなく「差があると言い切れるだけの証拠がまだない」という意味です。必要サンプル数まで継続してから判断してください。

信頼水準は90%・95%・99%のどれを選べばよいですか？＋

特に理由がなければ95%をおすすめします。誤って「差がある」と判定する確率を下げたい場合は99%、探索的に見たい場合は90%という使い分けになります。

3パターン以上のテストは判定できますか？＋

現在は2パターンの比較のみに対応しています。3案以上を比べる場合は、比較したい2つの組み合わせごとに判定し、判定を繰り返すぶん誤判定が増える点に注意してください。

テストを始める前に必要な人数を知りたいです。＋

「必要数を計算」タブで、現状のCV率・検出したい改善率・検出力を入力すると、1パターンあたりに必要な訪問者数が分かります。