ビジネスにおいて、LP（ランディングページ）やクリエイティブなどABテストを行う機会は非常に多いと思います。一見簡単そうなABテストですが、効果的なABテストやテスト結果の正しい分析方法をご存知ですか？
今回は、効果的なABテストのやり方と正しい分析方法を紹介します。
目次
効果的なABテストのやり方
ABテストの目的を明確にする
ABテストを行う前に、まずテストを行う目的を明確にしましょう。ABテストを行う最終的な目的を明確にすることで、その目的を達成するためには、何をどうやって検証すれば良いのかが見えてきます。多くの場合、コンバージョンを向上させることが最終的な目的になると思います。
また、ABテストの小さな改善ひとつですぐに最終目標の達成に繋がるとは限らないため、最終的な目標（コンバージョン）だけでなく、最終目標に間接的に寄与する値（クリックなど）も同時に分析していくことが重要です。
検証する仮説を立てる
テストの目的が決まったら、ABテストで検証する仮説を立てましょう。「こうすれば、これがこのようによくなるのではないか？」という仮説を一切持たずに検証をすることは、ABテストの精度低下に繋がり、蛇足になる可能性もあります。「こういうユーザーの心理があるから、こういうパターンを試す」など、常に仮説を立てた上でABテストを行いましょう。
ABテストの変更箇所は1つにする
1回のABテストで変更点を2箇所以上にしてしまうと、どの要素の変更によって結果が変わったのかを分析することが困難になります。そのため、ABテストでは1箇所ずつテストをするようにしましょう。
ABテストの結果を正しく分析する方法
実績値だけを見て結果を判断しない
例えば、下表のようにコンバージョン率が0.5%のクリエイティブAと1.0%のクリエイティブBがあると仮定します。
| クリエイティブ種類 | コンバージョン率 |
| A | 0.5% |
| B | 1.0% |
この結果だけで、「クリエイティブBの方がAと比較してコンバージョン率が2倍なので、クリエイティブBの方が優れている」と判断するのは危険です。
なぜなら、このABテストの結果が偶然の結果である可能性が潜んでいるからです。 ABテストでは、テスト結果が必然（今後も同じような結果になる）でなければ意味がありません。
有意差水準を設定する
カイ二乗（X2）検定や二項検定、t検定などの統計的検定手法を利用して、得られたABテストの結果がどの程度統計的に有意な差であるか計算し、この有意差の値を%で表すことで、ABテストの結果判定が可能です。この有意差の値が、100％に近ければ必然である可能性が高くなります。
一般に統計学的には、有意差95%以上であれば信頼できる結果であるとみなされます。しかし、高い有意差を得るためには、テストを続行しサンプル数を増やす必要があるため、時間やコストなどを考えた上で、各々で有意差のしきい値を設定することが必要です。
また、ABテストを行っても、結果に差がつかないこともあります。そのときは、「◯ヶ月経っても◯％以上の有意差が付かない場合は、ほとんど差がないと判断して、テストを止める」などの基準を設けるとよいでしょう。
ABテストツールを使用する
ここまで解説したように、自ら統計的検定手法を用いて分析することも可能ですが、ABテストツールを用いて分析を行う方が容易です。
以下の記事でおすすめのABテストツールをまとめていますので、興味のある方はご参照ください。
いかがでしたか？今回は、効果的なABテストのやり方と結果を正確に分析するポイントを紹介しました。
ABテストを行う際には、目的を明確にし、検証する仮説を立てることでより効果の出やすいテストを行えます。ABテストで得られた結果は実績値だけで判断するのではなく、その結果が統計的に偶然ではないかどうかについても判断しましょう。また、ABテストツールを用いることでより効率的にABテストが行えます。
これからはじめるBtoBマーケティング施策入門書
無料でダウンロードするために
以下のフォーム項目にご入力くださいませ。
