Optimizelyの「多変量テスト」

  • このエントリーをはてなブックマークに追加
  • Pocket
  • LINEで送る
6a59ccf9bad60644fe0c8faf1b5f3bf1

Optimizelyでは、通常のA/Bテストを多変量テストに切り替えて実施する事ができます。
まずは通常のA/Bテストと多変量テストの違いについて説明したいと思います。

多変量テストとは

多変量テストとは、A/Bテストの中で作るバリエーションと、他のA/Bテストの中で作るバリエーションとを組み合わせてテストを行い、どれが最良のバリエーションなのかを探るテストです。

通常のA/Bテスト

通常のA/Bテストでは、A/Bテスト単体の結果しか調べることはできません。

多変量テスト

多変量テストでは、「色」のA/Bテストと「文字」のA/Bテストを組み合わせて、どれが最良のバリエーションなのかを調べることができます。

※Optimizelyでは多変量テストの中で作る単体テストの事を、セクションと表現しています。

多変量テストのメリット

多変量テストに切り替えることで、例えばボタンであれば、色・文字・大きさ・位置など複数のA/Bテストの組み合わせの中で、コンバージョン率が最も高い組み合わせを調べることができます。これは通常のA/Bテストを複数組み合わせた結果と比べて信頼性がより高いことを意味します。

多変量テストのデメリット

デメリットは2つあります。

より多くのトラフィックが必要になる

1つは通常のA/Bテストに比べてより多くのトラフィックが必要になることです。通常のA/Bテストは、バリエーションが2つであればトラフィックは50%・50%に分けられます。しかし多変量テストの場合は、例えば2つのセクション✕2つのバリエーションの組み合わせは4パターンになり、トラフィックは25%ずつに分けられてしまいます。セクションやバリエーションを増やした分だけ乗算で組み合わせが増えていくことになり、テストを行なうためにより多くのトラフィックが必要になります。

結果が出るまで時間がかかる

トラフィックが分散してしまうことで、統計的に有意なテスト結果を出すためにはより多くの時間が必要になります。

利用可能プラン

  • ゴールドプランから利用可能。

使い方

  • 編集 > オプション > 実験タイプ > 多変量テスト

実験タイプをクリックし、A/Bテスト多変量テストに変更することで有効になります。

多変量テストに変更すると、セクションの追加タブが追加されます。これをクリックする事で、セクション(単体テスト)を追加する事ができます。

en:

  • このエントリーをはてなブックマークに追加
  • Pocket
  • LINEで送る

無料eBook|ABテストツール比較ガイド[2016年版]

第三者の公平な視点でツール比較を行ないました


本資料は、クライアント企業と一緒にツールを選定する立場のスプリットエンジンが、第三者の公平な視点でツール比較を行なったものです。
実際に自社で使っている情報をベースに再編集し公開しました。
比較対象は国内トップ3大ツール(Optimizely、Kaizen Platform、VWO)です。

ダウンロードする

SNSでもご購読できます。