A/Bテスト配信
文面の違う案を一部の友だちにだけ先に送り、反応が良かった案を残りの全員に送る画面です。
反応の悪い文面を、いきなり全員に送ってしまうのを避けられます。
たとえば対象が 1,000 人で、テストに使う割合を 20% にしたときは、次のように進みます。
- 1,000 人のうち 200 人をテストに使います
- 200 人を案 A・案 B に分けて送ります（100 人ずつ）
- クリック率か CV 率で、勝った案を決めます
- 残りの 800 人に、勝った案を送ります
A/Bテストはアカウントごとに分かれています。
- メニュー: 左メニューの「メッセージ」→「A/Bテスト配信」
- 見られる人: オーナー・管理者・スタッフ。メッセージの機能が「閲覧のみ」のスタッフは、作ったり送ったりできません
- 前もって: 左メニューの一番上で、送るアカウントを 1 つ選んでおくこと
A/Bテスト配信画面の見方
| 番号 | 項目 | 説明 |
|---|---|---|
| ① | 新規作成 | A/Bテストを作ります |
| ② | タイトル | 押すと、結果の画面を開きます |
| ③ | 状態 | 下の状態の見方をご覧ください |
| ④ | 配信対象 | 「全員」「タグ: タグ名」「カスタム検索」のどれかです |
| ⑤ | テスト割合 | 対象のうち、テストに使う割合です |
| ⑥ | 案 | 作った案の数です |
| ⑦ | 判定 | 判定に使う指標と、勝者を残りの対象へ送る方法です |
| ⑧ | 次の操作 | 状態に合わせて、次にやる操作のボタンが 1 つ出ます。「テスト期間後に自動で配信」のテストでは、【勝者を判定】は出ません |
| ⑨ | 結果を見る | 結果の画面を開きます |
| ⑩ | その他の操作 | 「中止」「削除」です。「中止」は、完了・中止・勝者を配信中のテストには出ません。「削除」は、テスト配信中・勝者を配信中のテストには出ません |
状態の見方
| 状態 | 意味 |
|---|---|
| 下書き | 作っただけで、まだ誰にも送っていません |
| テスト配信中 | 案を送り、反応を集めています |
| 勝者確定 | 勝った案が決まり、残りの対象への配信を待っています |
| 勝者を配信中 | 残りの対象に送っています。この間は、中止も削除もできません |
| 完了 | 残りの対象まで送り終わりました |
| 中止 | 途中でやめました |
A/Bテストの作成の方法
| 番号 | 項目 | 説明 |
|---|---|---|
| ① | タイトル | 必須です。一覧に出る名前です。友だちには見えません |
| ② | 配信対象 | 【全員に配信】か【絞り込んで配信】を選びます。絞り込むときは「タグ」「カスタム検索」「詳細条件（属性など）」から選びます |
| ③ | テストに使う割合（%） | 1〜99 で入れます。初めは 20 です。右に「対象 ○人 → テスト ○人（○案に分割）／勝者を配信 ○人」と内訳が出ます |
| ④ | 判定に使う指標 | 「クリック率」か「CV率」を選びます。CV 率のときは、数える「対象のコンバージョン」と、テストを始めてから何時間の CV を数えるか（「CVを数える時間（時間）」1〜720、初めは 24）を決めます |
| ⑤ | 勝者を残りの対象へ配信する方法 | 「テスト期間後に自動で配信」か「結果を見て手動で配信」を選びます。初めは手動です |
| ⑥ | テスト期間（時間） | 1〜720 で、初めは 6 です。自動のときは、この時間が過ぎたら判定と配信まで進めます |
| 番号 | 項目 | 説明 |
|---|---|---|
| ⑦ | 案を追加 | 案は 2〜4 つ（A〜D）作れます。3 つ以上あるときは、開いている案を削除できます |
| ⑧ | 案のタブ | 案を切り替えます。黄色い丸が出ている案は、まだ本文が入っていません |
| ⑨ | メッセージ | その案で送る内容です。入力欄の使い方は、一斉配信と同じです |
| ⑩ | 下書きとして作成 | 保存して、結果の画面を開きます。この時点では誰にも送りません |
作ったあとは、画面から内容を直せません。直したいときは、下書きのうちに削除して、作り直してください。
テスト配信の開始の方法
結果の画面か一覧で【テスト配信を開始】を押し、「テスト配信を開始しますか？」で【開始する】を押します。対象をテスト分と残りに分け、テスト分を案ごとに分けて、その場で送ります。
- 対象は友だち追加中の友だちだけです。友だち追加中の友だちが案の数より少ないと、開始できません
- テスト分は、案ごとにほぼ同じ人数（差は最大 1 人）に分けます。割合が小さくても、案ごとに最低 1 人は入れます
結果の見方と、勝った案を送る方法
| 番号 | 項目 | 説明 |
|---|---|---|
| ① | 中止 | 残りの対象へ送るのをやめます |
| ② | 次の操作 | 状態に合わせて、次にやる操作のボタンが出ます |
| ③ | 状態 | 今の状態です |
| ④ | 設定 | 「配信対象」「テスト割合」「判定指標」「勝者の配信」「テスト開始」「テスト期間」「勝者を配信する人数」「勝者の配信結果」です。テスト期間の後ろには、判定する日時が出ます |
| ⑤ | 案ごとの結果 | 判定に使う指標の率です。勝った案には「勝者」の印が付き、ほかの案には「首位比」で差が出ます。勝者を決めたあとは、「案Aがクリック率 12.0%で最も高かったため採用しました」のような理由も出ます |
| ⑥ | 配信・クリック・CV | 案ごとの、届いた人数・URL を押した人数・CV した人数です |
| ⑦ | 案の内容 | その案で送ったメッセージです |
「結果を見て手動で配信」のときは、次の 2 つを押します。
- 【勝者を判定】: テスト期間の途中でも判定できます。指標の率がいちばん高い案を、勝者にします
- 【勝者を残りの対象へ配信】: テストに使わなかった友だちに、勝った案を送ります
「テスト期間後に自動で配信」のときは、テスト期間が過ぎると、判定から残りの対象への配信までを自動で進めます。CV 率で自動判定するときは、CV を数える時間が終わるのを待ってから決めます。たとえば、テスト期間 6 時間・CV を数える時間 24 時間なら、勝者を送るのはテストを始めてから 24 時間後以降です。
勝者の配信は「タイトル（勝者: 案A）」という名前で、一斉配信の一覧に残ります。結果の画面の「勝者の配信結果」から開けます。
使用例：書き出しの違う 2 つの文で、クリックの多い文を選ぶ
秋のトリミングの案内を、書き出しの違う 2 つの文で一部の友だちに送り、予約ページのクリックが多かった文を、残りの友だちに送る例です。
設定を入れる
左メニューの「A/Bテスト配信」で【新規作成】を押します。「タイトル」は「秋のトリミング文面テスト」、「配信対象」は【全員に配信】、「テストに使う割合」は 20、「判定に使う指標」は「クリック率」にします。「勝者を残りの対象へ配信する方法」は「結果を見て手動で配信」、「テスト期間」は 6 時間のままにします。
案 A を入れる
案 A に「秋のトリミングが5%OFF。ご予約はこちらからどうぞ。」と入れ、続けて予約ページの URL を書きます。クリック率は、本文の URL を押した人数で数えるので、どの案にも同じ URL を入れます。
案 B を入れる
案 B のタブを開き、「ふわふわに仕上げる秋のトリミング、5%OFFで受付中です。」と入れ、同じ URL を書きます。
下書きとして作る
【下書きとして作成】を押します。結果の画面が開きます。この時点では誰にも送りません。
テスト配信を始める
案の文をもう一度読み、【テスト配信を開始】→【開始する】の順に押します。テスト分の友だちに届きます。
勝者を送る
6 時間たったら【勝者を判定】を押し、【勝者を残りの対象へ配信】を押します。クリック率の高かった案が、残りの友だちに届きます。
案どうしで変えるのは、書き出しなど 1 か所だけにすると、何が効いたのかが分かります。
困ったとき
| こんなとき | 理由と対処 |
|---|---|
| 「配信対象が○人しかいないため、○案に分けられません」と出る | 開始した時点で、条件に合う友だち追加中の友だちが、案の数より少ないです。友だちが増えてから開始するか、下書きを削除し、案を減らすか対象を広げて作り直してください |
| 作ったテストの内容を直したい | 作ったあとは、画面から内容を直せません。下書きのうちに削除して、作り直してください |
| 中止したのに、テスト分は届いていた | 送ったテスト分は、中止しても取り消せません。中止すると、残りの対象には送りません |
| 中止も削除もできない | 「勝者を配信中」の間は、中止も削除もできません。送り終わるのを待ってください |
| CV 率で判定したのに、勝者がなかなか送られない | 自動のときは、テスト期間と、CV を数える時間の両方が終わってから判定して送ります。手動のときに「勝者確定」になっていたら、【勝者を残りの対象へ配信】を押してください |
| クリック率が案ごとに比べられない | 本文に URL が入っていない案は、クリックを数えられません。どの案にも同じ URL を入れてください |