ABテストの正しい導入方法と、序盤のテストを成功させるまでの5ステップ

  • このエントリーをはてなブックマークに追加
  • Pocket
  • LINEで送る
abtesting-5steps

ABテストを使った改善活動が絶大な効果を発揮すると分かっていても、実際にはうまく導入できないケースが多い。
とくに次のような悩みをよく耳にする。「ツール導入したが全く使われていない」「テストで成果を出せない」など。
今回はそのような悩みを解決するために、私たちが実際に取り入れている導入方法と、序盤のテストを成功させるまでのコツをステップに分けてご紹介する。

1.そもそも自社に導入すべきか判断する

充分なトラフィックはあるか?

まずは自社のサイトがABテスト導入に適しているかどうかの判断をしよう。
ABテストは基本的にどんな場面でも有効だが、一つ弱点がある。それは、ある程度のサンプル数(トラフィック量)が必要ということだ。
例えば、A案とB案それぞれで成約率のABテストをしたとする。
100訪問者数に対しAは5件成約(成約率5%)、Bは10件成約(成約率10%)した場合、Bの方がその後も成約率が高いと言えるだろうか?
あるいは、以下の場合はどうだろう。
10,000訪問者に対しAは500件成約(成約率5%)、Bは1,000件成約(成約率10%)。
Bの方がその後も成約率が高いと言えるだろうか?
統計的に考えると、後者の方がより「Bの方がその後も成約率が高い」と言える。

abtesting

同じ成約率でもサンプル数の多さによって信頼性が全く違う。
正しいABテストには充分なトラフィック数が必要なのだ。

必要なトラフィック数の目安

ここでいうトラフィック数とは、テストしたいページのUU(ユニークユーザー)数※である。
※サイト全体のUUではなく、あくまでテストするページのUU。
ABテストに必要なUUがどれぐらい必要かは一概には言えないが、経験として1案あたり10,000UUずつぐらい、または成約数が200ずつあるのが望ましい。
例えば2案でテストするならAに10,000UU+B案10,000UUで合計20,000UU、または成約数が400必要ということになる。
もちろんこれで足りないこともあるが、適切なテスト設計を行うことでそのような場面をある程度回避することができる。

トラフィックが足りない場合

上記のようなトラフィックが自社にない場合はどうするかというと、その時はABテストをする段階では無いと判断※しよう。
※比較指標(KPI)を成約率より手前に設定するテクニックもあるが正確性は劣る。
トラフィックが不十分なサイトは、ABテストで成約率改善をめざすよりもまず“集客”にリソースを割くべきだ。広告やコンテンツマーケティングなどでまずは充分なトラフィック量を稼ぎ、必要なトラフィック数、成約数を確保しよう。
ABテストは0から1にする施策ではなく、あくまで10を20にする施策なのだ。

2.課題を見直す

1でトラフィック数を確認したときに、あなたはきっと課題となりそうなページが頭に思い浮かんだに違いない。そしてそのページのUU数を調べただろう。担当者や当事者であればすぐに思い浮かぶ課題箇所はいくつかあるものだ。
すぐにその箇所をテストし改善したいところだろうが、少し待ってほしい。まずはこの機会に「課題の棚卸し」をしよう。
サイトが持つ課題を全て洗い出して抜け漏れを無くすのだ。
洗い出し方を4つご紹介する。

自社が把握している課題をリストアップする(1)

まずは担当者やそれ以外の関係者から、課題を洗いざらい出してもらおう。つまり今までの経験で感じた課題を明文化するのだ。少々手間はかかるが、一番手軽な方法だ。
ただしこれだけでは全く足りない。2つ目以降ではユーザー目線を取り入れる。

アクセス(ログ)解析からボトルネックを洗い出す(2)

サイトにはおそらくGoogle AnalyticsやAdobe Analyticsなど何かしらアクセス解析が入っているだろう。
これはユーザーの経路を分析しているのに適している。まずはサイトの中で重要な経路を特定しよう。
例えばEコマースであれば、以下のような経路が考えられる。

5steps_cart

これらの経路の中で離脱率の高い場所を特定しよう。
そこが改善すべきページだ。

ヒューリスティック分析で課題を洗い出す(3)

これはユーザビリティ調査の専門家によって、サイトの課題を洗い出してもらうやり方だ。 専門家はチェック項目にもとづきサイトをチェックし、課題を出していく。比較的多くの課題を短期間で出せることが特徴だ。

ユーザー調査で課題を洗い出す(4)

これは、一般人に被験者となってもらい、実際にサイトを使っている様子を観察することで課題を洗い出すやり方だ。
ユーザビリティ研究の第一人者であるニールセン博士によれば、ユーザー調査を3-5人行なうのが最も費用対効果が高いそうだ。
筆者の経験でも、3人行えば課題の8割方が出てくると感じる。
まずは3人でやってみよう。

優先順位をつける

ここまでで多くの課題がリストアップされているはずだ。
次はこの課題をまとめ、優先順位をつけていく。

重複チェック

さまざまな方法で洗いだした課題だが、重複していることも多い。それらを一つにまとめよう。それが終わるとだいぶ見通しが良くなるはずだ。

優先順位

次に優先順位をつけていく。
全ての課題にスコア付けをしていこう。
スコアの軸はいくつかあるが、PIETMフレームワークがおすすめだ。

  • Potential(可能性・潜在力) 重要な経路上のページやユーザーの評判が良いコンテンツ
  • Importance(重要性) トラフィック量の多いページや、広告費をかけて集客しているページ
  • Ease(難易度) 作業難易度が低いページ(一般的にカート内や検索結果など、システムで動的に生成されるページは難易度が高い)

pies_framework

(引用元:『The Top 5 Ecommerce Tests You Should Run Right Now』© 2007-2013 WiderFunnel Marketing Inc.)

この3つを軸にして、それぞれの課題を5段評価でスコアリングしよう。
スコアの高いものから順にABテストしていく。

3.ツールを選ぶ

いよいよツールを選ぶ段階だ。
課題の洗い出しがツールよりも先の行程になっているのは、課題が出ていないと適切なツールを選べないからだ。
ツールにはそれぞれ特徴があるので、自社に合ったツール選びをしよう。
代表的なものは以下の5つだ。

  • Google Analytics(グーグルアナリティクス)
  • Optimizely(オプティマイズリー)
  • Kaizen Platform(カイゼンプラットフォーム)
  • Visual Website Optimizer(ビジュアルウェブサイトオプティマイザー)
  • DLPO(ディーエルピーオー)

月間UUが10〜30万程度のサイトの場合

おそらくABテストが有効に実行できる下限のサイトだ。
この規模ではツールに費用をかけるべきではない。Optimizelyスターター版(無料)が一番のおすすめだ。
多機能かつ使い勝手も良い。
Google Analyticsをすでに導入している場合は、付随するABテスト機能も選択肢として入るが、テストページのURLが変わってしまうため、テスト箇所が限られてしまいおすすめしない。ランディングページの課題のみ解決するなら良いだろう。

月間UUが30万〜数千万程度の場合

この規模では選択肢がいろいろある。
中堅規模サイトで費用対効果が高いのはVisual Website OptimiserやDLPOだろう。
大規模サイトになるとOptimizelyエンタープライズ版やKaizenPlatformが、多くの機能や特徴を持ち、実績も多い。

これらのツールについては以下の記事が参考になる。

【2015年版】どっちにする?ABテストツール比較”Optimizely” vs “Kaizen Platform”

DLPO ACTを徹底解剖!OptimizelyやKaizen Platfomとの比較

ネイティブアプリの場合

Optimizelyエンタープライズ版ではiOS,AndroidのネイティブアプリをABテストすることも可能だ。アプリのできが事業の命運を左右するような場合、アプリのABテストは必須だろう。

4.初めてのテストを成功させる

ツールが決まればいよいよテストだ。
基本的には、前のステップで決めた優先順位通りに進めるのが良い。
ただし、初めてのテストは、あえて別のアプローチをする。

「一番簡単で、勝ちやすい」テストを行なうのだ。

初回のテスト結果というのは、上司やチームメンバーへ与えるインパクトが非常に大きい。即ABテストという施策への評価(有用度)へつながることも珍しくない。もし仮に成果を上げられなかったり、特に変わらない(成果に結びつかない)となると、今後の改善活動がしづらくなってしまう。

そうならないために必要なのは、一刻も早く成功体験することだ。

少しでも成功の確率が高く、かつ実装の早いテストを行おう。
そうすればあなたの取り組みが上司やメンバーに認められ、活動しやすくなるだろう。

おすすめはランディングページ

実装がたやすく、売上に直結し、成果を上げやすいのはランディングページだ。

  • ランディングページはほとんどが静的に作られているため、さまざまな変更を比較的簡単に行える。
  • ランディングページはカートボタンや資料請求ボタンなどのCTA(クリックトゥアクション)が設置されている。そして、それらがコンバージョンした時の利益は明確になっていることが多い。
  • ランディングページは自由度が高く、効果の振れ幅が大きい。

もしランディングページが無い場合は、別の箇所でもかまわない。
ただし、できる限りシンプルなものをやろう。
間違ってもログイン前、ログイン後の出し分けテストなど、この段階でやるべきではない。
商品詳細ページのカートボタンの周りの見せ方や、トップページのファーストビュー変更がおすすめだ。

そして、最初のテストは成果を“上げなければならない”。

なぜか。
繰り返しになるが、成功体験をすることが、チームや上司の協力を得られることにつながり、自社に改善活動を浸透させやすくするからだ。

成功しやすいテストアイデアは以下の記事を参照してほしい。

実際に試して効果が大きかったABテストアイデア10個

5.二度目のテストを成功させる

改善活動は一度だけでは終わらない。一度で満足するのは目の前のチャンスをみすみす逃しているようなものだ。
一度目で成果を上げたらすばやく二度目のテストを実行しよう。

理想は、一度目のテストの2ラウンド目

二度目のテストで一番のおすすめは、一度目の別案を作ることだ。
理由は3つある。
1つめは、素早く行えるから。一度目で行なった作業の大部分をそのまま活かせるので、工数がかからず、すぐにテスト開始できる。
2つめは、PDCAサイクルを実感できるから。一度目のテスト結果を元に別案を考えることで、自然とPDCAサイクルを回していることになる。これをチーム全員で体験することが重要だ。
3つめは、更なる成果をあげられる可能性があるから。一度目でうまく成果が上がれば更に上を狙い、計2回のテストで驚くような成果を上げられるかもしれない。実際、筆者は何度も経験しており、これは大きなインパクトをもたらす。また、もし一度目に成果を上げられなかったとしても、二度目で挽回できる可能性は高い。なぜなら一度目で失敗している分、課題は絞りこまれているはずなので、次に成功する可能性が他のテストよりも高いに違いない。

このように、序盤のテストは“狙って”成果を取りに行くことが重要だ。

まとめ

本記事ではABテスト導入から、運用序盤までの流れを説明した。
これを読めば、ABテストの正しい運用方法がかなり理解できるはずだ。
もし導入検討中や、導入済だが成果を上げられていない方は、ぜひここに書かれていることをステップごとに見直してみてほしい。

  • このエントリーをはてなブックマークに追加
  • Pocket
  • LINEで送る

無料eBook|ABテストツール比較ガイド[2016年版]

第三者の公平な視点でツール比較を行ないました


本資料は、クライアント企業と一緒にツールを選定する立場のスプリットエンジンが、第三者の公平な視点でツール比較を行なったものです。
実際に自社で使っている情報をベースに再編集し公開しました。
比較対象は国内トップ3大ツール(Optimizely、Kaizen Platform、VWO)です。

ダウンロードする

SNSでもご購読できます。