一斉配信をA/Bテストする

A/Bテストは異なる一斉配信を別々の人に送り、どちらが効果的か測定します。

二つの実施方法

アプリで実施する

1. デザインでA/Bテストするを選びます。第二のバージョンが追加されます。
2. 各バージョンを編集します。+ バリアントで最大4つまで追加できます。内容は異なる必要があります。
3. 通常どおり進みます。レビューには50% / 50%などの割合が表示されます。
4. 自分にテストを送信でバージョンを選び、各内容を確認します。
5. 送信します。均等に分割され、各受信者に一つのバージョンが届きます。

送信後はA/Bテストに、配信数、クリック、返信、改善率、信頼度がバージョン別に表示されます。選択で勝者を記録します。全員が受信済みなので、選択しても追加の送信はありません。

サンプルで試して勝者を送る

AIに設定を依頼します。次の項目を選びます。

• Sample size: 例えば20%です。残りの80%は待機します。
• Metric: 人によるクリック（初期設定）、人による開封、返信です。
• 決定: 手動、または指定時間（初期設定は4時間）後に、95%の信頼度で優位なバージョンを自動選択します。期限には、確実でなくてもその時点の首位が勝ちます。
• Guardrails（任意）: 各バージョンの配信停止率や苦情率の上限です。

勝者を選ぶと残りの人に送信します。テストを停止すると、代わりに最初のバージョンを送ります。テストを開始できるのは下書きか一時停止中の一斉配信だけです。

結果の集計

開封とクリックは人によるものと推定される活動だけを数えます。ボットのクリックやApple Mailなどのプライバシープロキシの開封は除外します。小さなサンプルは信頼区間が広くなるため、各バージョンで少なくとも100人を目安にしてください。

AIで試す

下書きの一斉配信に二種類の件名のA/Bテストを設定してください。オーディエンスの20%でクリックを測定し、4時間後に勝者を自動選択してください。