A/B テストを実施する

Exeperiment が定義され、アプリの設定も完了しました。いよいよ A/B テストの開始です!

A/B テストを開始する

まずは A/B テスト設定(Experiment)を開きます。A/B テストを設定する で作成した A/B テスト設定を開発者ポータルで開いてください。

現時点では A/B テストは "Draft" 状態になっています。まだ A/B テストは開始していない状態です。

ページ下部のボタンを押すと、以下のアクションを行うことができます。

  • "Edit" ボタンをクリックすると A/B テスト設定を編集できます。
  • "Clone" ボタンをクリックすると現在の内容を元に新たな A/B テスト設定を作成できます。
  • "Delete" ボタンをクリックすると A/B テスト設定を削除できます。
  • "Start" ボタンをクリックすと A/B テストを開始できます。

早速 "Start" ボタンをクリックしてみましょう。ポップアップする確認ダイアログにて "Yes" を選択します。

ステータスが "Running" に変わったことを確認してください。これで A/B テストが開始され、Kii Cloud はアプリからの View/Conversion イベントの受け取りを開始します。

A/B テストの結果を確認する

A/B テストが開始すると、Results セクションが毎日更新され、次のスクリーンショットのように最新の A/B テスト結果が表示されるようになります。

結果には以下の情報が表示されます。

  • A/B テストの名前
  • A/B テストを開始した日時(テストが終了している場合は、終了した日時も)
  • 現時点におけるテスト結果と、現時点までに観測された各イベント数およびコンバージョンレートの推移グラフ。

    各項目の説明は次のとおりです。

    • View Events:View イベントの名前。
    • View Count:バリエーションごとに受け取った View イベントの数。
    • Conversions:Conversion イベントの名前。
    • Count:バリエーションごとに受け取った Conversion イベント(今回の例では "eventClicked" イベント)の数。
    • Rate:コンバージョンレート(基本値は Count / Views)。なお、テスト結果は統計的に分析されるため、十分なイベント数が観測されるとコンバージョンレートは +/- 値とともに幅を持たせた形で表示されます。
    • Change:バリエーション A をベースとした、バリエーション B におけるコンバージョンレートの増加/減少の度合い:
      (Variation B のコンバージョンレート - Variation A のコンバージョンレート) / Variation A のコンバージョンレート
    • Confidence:現在表示されているコンバージョンレートの信頼度を表す値。一例として Confidence が 95% の場合、現在表示されているコンバージョンレートの比較が 95% のレベルで信頼できるといえます(Confidence が 95%以上の場合、チェックマークが表示されます)。なお、Confidence を正しく計算するためには 1000 個以上のイベントを観測する必要があります(これ未満のイベントしか観測していない場合は N/A と表示されます)。

今回の例では Confidence がチェックマークとともに表示されており、表示されている値が信頼に値する情報であることがわかります。具体的には、バリエーション B のコンバージョンがバリエーション A より高いこと(コンバージョン改善率が 16.42% であること)を高い確度で結論付けできることが分かります。

A/B テストを一時停止/再開する

結果画面下部の "Pause" ボタンをクリックすると A/B テストを一時停止できます。A/B テストが一時停止するとステータスが "Paused" に変わります。

A/B テストを停止するとアプリがバリエーションを読み込むことができなくなるため、アプリ内部で適用する変数値を設定する必要があります(多くの場合、デフォルト値を適用することになると思われます)。詳細については こちらの解説とサンプルコード を参照してください。

停止中の A/B テストを再開するには "Restart" ボタンをクリックしてください。

A/B テストを終了する

十分に A/B テストを実施し、選択するバリエーションが決定したら "Stop" ボタンを押してください。次のようなダイアログが表示されます。

A/B テストを終了する場合、以下の 3 つの選択肢があります。

  • Variation A:バリエーション A を選択して終了。
  • Variation B:バリエーション B を選択して終了。
  • No change:いずれのバリーションも選択せずに終了。

バリエーション A または B を選択して終了すると、以後 SDK は選択したバリエーションの変数値を常に返すようになります。

一方 "No Change" を選択して終了した場合、SDK は例外を返すようになります。アプリはこの例外をキャッチして、デフォルト値を適用するなどの適切なアクションを行うことになります。詳細については こちらの解説 を参照してください。