2024年12月16日
これからA/Bテスト導入を検討している方へ
本記事はアジアクエスト Advent Calendar 2024の記事です。
目次
はじめに
執筆者について
- デジタルエンジニアリング部 加志崎 渉
- デジタルインテグレーション部 岸野 晋太郎
執筆の経緯
案件に従事する中で、ツールを用いたA/Bテストの立案・作成・配信・分析といった、一連の業務を経験しました。
その経験を通して得た気付きやA/Bテストに関する知識をアウトプットしたいと考え、執筆しました。
A/Bテストとは
文字通り、AパターンとBパターンを比較してどちらが優れた効果を出すか検証するものです。
具体的に言うと、オリジナル（Aパターン）とそれを元に編集したページ（Bパターン）を用意し、サイト訪問者（以降、ユーザ）へランダムに配信・提供します。
その後、ある程度の期間収集したユーザの行動情報から、コンバージョン数（CV）や離脱率などを計測して、優れた効果を出した方を決定します。
例）WEBサイトUX改善
- ナビゲーションバーの配置を変更し、クリック率を比較 → 機能改善
- Webサイトのファーストビュー（開いて真っ先に目に入るコンテンツ表示領域）の内容を変更 → 離脱率改善
WEBサイトやアプリのデザイン、広告、マーケティングキャンペーンなど、幅広い分野で活用されています。
A/Bテストを行う理由・メリット
A/Bテストを行う理由は様々ありますが、主な目的はCVR（目標の達成に至った割合）を向上させることです。
A/Bテストを行うことで、よりユーザ目線でCVRを向上させる方法を分析できます。
さらに、A/Bテストを行うことで、下記のようなメリットがあります。
複数パターンを同時検証できる
A/Bテストという名称ですが、必ず2パターンでする必要はなく、Cパターン、Dパターンと複数パターンを検証できます。
ただし、増やしすぎるとデータの収集期間が長くなったり、結果が平らになりやすかったりするので注意が必要です。
低コストかつ短期間で実施できる
A/Bテストはページのデザインなどの一部を変更するだけで始めることができ、まずは少ない工数でも実施できます。
また、期間も自由に設定でき、2週間程で結果を出すことも可能です。
分析結果を活かせる
テストを繰り返し実施し、分析することで他の施策に活かすことができます。
分析結果はリニューアルする際のリスク軽減や次のテストの足掛かりになります。
A/Bテストの進め方
次に、A/Bテストをどう実施するかについてご説明します。
A/Bテストは以下の流れで実施します。
目標を決める
まず、A/Bテストを実施する明確な目標を定めます。CVR向上やクリック率向上などが挙げられます。
仮説を立てる
改善のために変更する要素とその理由を考え、仮説を立てます。「ボタンの色を変えるとクリック率が上がる」など、具体的な仮説を作ることが重要です。
テストを実施する
実際にA/Bテストを行い、対象となる要素を変更したグループと変更していないグループを比較します。ツールを活用して正確にデータを収集しましょう。
結果を分析/検証し、改善策を実行する
テストで検証した結果をもとに分析し、次の改善に活用します。この段階では、実際に検証した内容を反映（ボタンの色を変更実装）することも含まれます。
再び「目標を決める」に戻る
次の目標を設定し、継続的にテストを繰り返してサイトやアプリのパフォーマンスを最適化していきます。
実例
ここまでA/Bテストの概要を説明しましたが、ここからは実例をご紹介します。
じっくり読んで理解するというより、ざっと見てイメージを掴んでください。
※業界・業種によって指す目標は変わる事があります。ここでは人材紹介サービスを例に進めることとします。
目標を決める
以下の方針で目標を決めます。
- データに基づいたサービスの改善（直感や推測に任せない）
- UX（ユーザーエクスペリエンス）向上
今回の例では以下の目標とします。
- サービス自体の最適化、応募数向上
求人の概要や詳細情報の分かりやすさ、ユーザが希望する求人へストレスフリーでたどり着けるような検索導線など、どのようなレイアウトがユーザに好まれるか検証し、満足度を高めるようなサイト構成へ改善する。
仮説を立てる
以下の仮説を立てます。
- ユーザが応募操作を行う時に応募フォームへの入力が都度求められるが、その項目の中身を簡略化したり注意文を変更する事で、応募フォームの離脱率を下げられるのではないか。
- 応募フォームへの遷移ボタンを変えることで、応募ボタンクリック数を増やせるのではないか。
テストを実施する
応募フォームを簡略化したテストを作成します。
今までの応募フォーム：名前、性別、年齢、住所、電話番号、現職、希望職種、最寄り駅など10個の入力項目
テストの応募フォーム：名前、年齢、電話番号のみの入力項目
今回は詳しい実装方法については割愛しますが、無料から有料まで数多くのツールが存在しているので、実施する際は自分の環境にあった方法を選択してください。
私たちは、Ptengineを使いました。
結果を分析/検証し、改善策を実行する
テスト配信後には、ユーザがサイト回遊して各求人情報を見たり、特定の機能を利用したり、応募を出したりといった操作が検出・計測されます。
ある程度の時間をかけてデータが収集・集計・可視化されるようになると、そのデータを基にテストパターンを本実装するかどうかを判断します。
再び「目標を決める」に戻る
「結果を分析/検証し、改善策を実行する」で得たデータを基に新たな目標、仮説を立て、次のA/Bテストを考えます。
このようなテストサイクルを回して、よりよいサイトを目指していきます。
注意点
A/Bテストを実施する上で注意すべき点もあり、その中であまり好ましくない例について少し紹介します。
複数のページに対して同時にテストを実行すると正しい結果を導けない事がある
目標（ゴール）：応募数を増加させる
- パターンA：画面Aから関連する姉妹サイトやLPへの流入数を増やすため、ヘッダー部やフッター部にクリック遷移するバナーを表示する
- パターンB：画面Bには掲載求人を詳しく絞込み表示可能にする検索パネルが付いている。その検索パネルの使いやすさを向上させるため、検索項目数や色味を変更する
結果の達成率がプラスでもマイナスでも、パターンAとBのどちらか片方の効果が大きかったのか、両パターンがあるからなのか等、達成率が変動した要因を突き止める事が難しくなります。
そのため、同じ目標/仮説だとしても、1回でA/Bテストを実施しようとせず、パターンAのみで実施する、パターンBのみで実施する、というように分けて段階的に行う方法を推奨します。
さいごに
A/Bテストは、優れた結果を出したパターンが必ず正しいとは限らない側面もあります。
また、実施時期によっては同じテストでも結果が異なる場合もあり得ます。
しかし、繰り返すことでより良いサイトへ近づける事に加え、常に変化するユーザのニーズや市場環境を掴み、サービスの向上や競合他社との差別化を図り関心を持たせる事もできます。
そのため、一度限りの試みで終わらせずサイトの運営を続ける限り継続が望ましいと考えられています。
以上、私達が活用したA/Bテストについて紹介させていただきました。
この記事が読者の皆様にとって役立つことを心から願っております。
参考（Ptengine Help Centerから）
アジアクエスト株式会社では一緒に働いていただける方を募集しています。
興味のある方は以下のURLを御覧ください。
