本記事はアジアクエスト Advent Calendar 2024の記事です。
案件に従事する中で、ツールを用いたA/Bテストの立案・作成・配信・分析といった、一連の業務を経験しました。
その経験を通して得た気付きやA/Bテストに関する知識をアウトプットしたいと考え、執筆しました。
文字通り、AパターンとBパターンを比較してどちらが優れた効果を出すか検証するものです。
具体的に言うと、オリジナル（Aパターン）とそれを元に編集したページ（Bパターン）を用意し、サイト訪問者（以降、ユーザ）へランダムに配信・提供します。
その後、ある程度の期間収集したユーザの行動情報から、コンバージョン数（CV）や離脱率などを計測して、優れた効果を出した方を決定します。
例）WEBサイトUX改善
WEBサイトやアプリのデザイン、広告、マーケティングキャンペーンなど、幅広い分野で活用されています。
A/Bテストを行う理由は様々ありますが、主な目的はCVR（目標の達成に至った割合）を向上させることです。
A/Bテストを行うことで、よりユーザ目線でCVRを向上させる方法を分析できます。
さらに、A/Bテストを行うことで、下記のようなメリットがあります。
A/Bテストという名称ですが、必ず2パターンでする必要はなく、Cパターン、Dパターンと複数パターンを検証できます。
ただし、増やしすぎるとデータの収集期間が長くなったり、結果が平らになりやすかったりするので注意が必要です。
A/Bテストはページのデザインなどの一部を変更するだけで始めることができ、まずは少ない工数でも実施できます。
また、期間も自由に設定でき、2週間程で結果を出すことも可能です。
テストを繰り返し実施し、分析することで他の施策に活かすことができます。
分析結果はリニューアルする際のリスク軽減や次のテストの足掛かりになります。
次に、A/Bテストをどう実施するかについてご説明します。
A/Bテストは以下の流れで実施します。
まず、A/Bテストを実施する明確な目標を定めます。CVR向上やクリック率向上などが挙げられます。
改善のために変更する要素とその理由を考え、仮説を立てます。「ボタンの色を変えるとクリック率が上がる」など、具体的な仮説を作ることが重要です。
実際にA/Bテストを行い、対象となる要素を変更したグループと変更していないグループを比較します。ツールを活用して正確にデータを収集しましょう。
テストで検証した結果をもとに分析し、次の改善に活用します。この段階では、実際に検証した内容を反映（ボタンの色を変更実装）することも含まれます。
次の目標を設定し、継続的にテストを繰り返してサイトやアプリのパフォーマンスを最適化していきます。
ここまでA/Bテストの概要を説明しましたが、ここからは実例をご紹介します。
じっくり読んで理解するというより、ざっと見てイメージを掴んでください。
※業界・業種によって指す目標は変わる事があります。ここでは人材紹介サービスを例に進めることとします。
以下の方針で目標を決めます。
今回の例では以下の目標とします。
以下の仮説を立てます。
応募フォームを簡略化したテストを作成します。
今までの応募フォーム：名前、性別、年齢、住所、電話番号、現職、希望職種、最寄り駅など10個の入力項目
テストの応募フォーム：名前、年齢、電話番号のみの入力項目
今回は詳しい実装方法については割愛しますが、無料から有料まで数多くのツールが存在しているので、実施する際は自分の環境にあった方法を選択してください。
私たちは、Ptengineを使いました。
テスト配信後には、ユーザがサイト回遊して各求人情報を見たり、特定の機能を利用したり、応募を出したりといった操作が検出・計測されます。
ある程度の時間をかけてデータが収集・集計・可視化されるようになると、そのデータを基にテストパターンを本実装するかどうかを判断します。
「結果を分析/検証し、改善策を実行する」で得たデータを基に新たな目標、仮説を立て、次のA/Bテストを考えます。
このようなテストサイクルを回して、よりよいサイトを目指していきます。
A/Bテストを実施する上で注意すべき点もあり、その中であまり好ましくない例について少し紹介します。
目標（ゴール）：応募数を増加させる
- パターンA：画面Aから関連する姉妹サイトやLPへの流入数を増やすため、ヘッダー部やフッター部にクリック遷移するバナーを表示する
- パターンB：画面Bには掲載求人を詳しく絞込み表示可能にする検索パネルが付いている。その検索パネルの使いやすさを向上させるため、検索項目数や色味を変更する
結果の達成率がプラスでもマイナスでも、パターンAとBのどちらか片方の効果が大きかったのか、両パターンがあるからなのか等、達成率が変動した要因を突き止める事が難しくなります。
そのため、同じ目標/仮説だとしても、1回でA/Bテストを実施しようとせず、パターンAのみで実施する、パターンBのみで実施する、というように分けて段階的に行う方法を推奨します。
A/Bテストは、優れた結果を出したパターンが必ず正しいとは限らない側面もあります。
また、実施時期によっては同じテストでも結果が異なる場合もあり得ます。
しかし、繰り返すことでより良いサイトへ近づける事に加え、常に変化するユーザのニーズや市場環境を掴み、サービスの向上や競合他社との差別化を図り関心を持たせる事もできます。
そのため、一度限りの試みで終わらせずサイトの運営を続ける限り継続が望ましいと考えられています。
以上、私達が活用したA/Bテストについて紹介させていただきました。
この記事が読者の皆様にとって役立つことを心から願っております。