A/B テストを設定する

ここでは、以下のサンプルシナリオを例に取りつつ、A/B テストの設定方法を説明していきます。

A/B テストサンプルシナリオ
アプリのあるボタンを押すと新たな機能が有効化されます。現在このボタンのラベルは "Get Started Now!" であり、背景色は "green" になっています。

ユーザーによるボタンの CTR(click through rate)を上げるために、このボタンのラベルを "GET STARTED NOW!" に、背景色を "red" に変更することを検討しています。
この変更が本当に CTR の上昇に貢献するか A/B テストを使って測定してみましょう。

新たなテストを作成する

A/B テストの設定は、開発者ポータルで行います。

  1. 開発者ポータルで対象アプリケーションを選択します。
  2. "A/B テスト" アイコンをクリックして A/B テストコンソールを開きます。

  3. "Create a Test" をクリックします。A/B テスト設定画面(Experiment 定義画面)が表示されます。

    以下の情報を設定して A/B テストシナリオを設定してください。

    • A/B テストの名前(Test name)と説明文(Description)を入力します。
    • A/B テストで使用するイベント(Events)を設定します。
      ここでは 2 種類のイベントを設定してください。
      • View Event:A/B テストが開始された際に送信されるイベント(view event)の名前。

        今回の例ではアプリがテスト対象であるボタンを表示したタイミングで eventViewed イベントが送信されると仮定しています。

      • Conversion:A/B テスト対象となるイベント(conversion event)の名前。

        今回の例ではテスト対象ボタンがクリックされたタイミングで eventClicked イベントが送信されると仮定しています。また、イベントの簡潔な説明として "Button Clicked" を指定しています。

    • バリエーション A(Control)と B を定義します。
      • バリエーション A と B が選択される比率(Distribution)をスライドバーで設定します。
      • バリエーション A と B で適用する変数(Variables)を設定します。具体的には、変数名(Name) とバリエーションごとの値(Value AValue B)を指定します。

        今回の例ではボタンのラベルと背景色を表す変数がそれぞれ "buttonLabel" と "buttonColor" であると仮定して、バリエーション A と B にそれぞれテスト用の値を設定しています。

    A/B テストの定義が完了したら、"Save" ボタンをクリックしてください。

  4. 設定した A/B テスト設定のサマリーが A/B テストコンソールに表示されることを確認します。

    "ID" アイコンをクリックすると、専用のテスト ID が確認できます。この ID は、後ほどアプリに A/B テストを導入する際に利用します。

  5. 表示された A/B テスト設定のサマリーをクリックすると、設定したテスト内容が確認できます。

    設定したテストの内容に加え、払いだされた専用のテスト ID が新たに追加されていることが確認できます。

これで A/B テストの設定は完了です。


引き続き、アプリ側の設定方法を見ていきましょう:A/B テストを導入する