QAテスト(表示と配信の確認)
トリートメントを公開する前に、「正しく表示されるか」と「正しいユーザーに届くか」の2点を確認する。このガイドでは、その両方の確認方法を説明する。
事前準備
以下を準備する。
- Auxia Consoleにアクセスできる
- トリートメントが1つ以上作成されている(下書きまたは公開済み)
- テスト用のユーザーIDがある(連携で使用しているユーザー識別子)
AuxiaでのQAの考え方
従来のマーケティングツールとは異なり、AuxiaのQAは少し仕組みが異なる。一般的なツールでは、プレビューやテスト送信で確認することが多い。Auxiaでは確認すべき内容が多いため、QAはより明確に分かれている。トリートメントはパーソナライズされ、配信条件があり、AIによって選択されるためである。
AuxiaのQAは大きく2種類に分かれる。
| 種類 | 確認内容 | 実施タイミング |
|---|---|---|
| 表示確認(Rendering QA) | トリートメントの見た目や内容が正しいか | 新規トリートメント、コンテンツ更新、画像変更時 |
| 配信条件確認(Guardrail QA) | 正しい条件で正しいユーザーに届くか | 新規リリース、配信条件変更、設定変更時 |
ヒント: ヒント — 初回リリース時は両方実施すること。コンテンツのみの更新では、表示確認のみで十分なことが多い。
表示確認:見た目をチェックする
ステップ1:QAユーザーの設定
QAユーザーはテスト用のユーザーアカウントである。QAユーザーには通常の配信条件は適用されない。割り当てられたトリートメントが必ず配信される。下書きや一時停止中でも配信される。
- 「トリートメント & ジャーニー > QA & テスト」に移動する
- ユーザー設定タブの「QAユーザーを追加」をクリックする
- QAユーザーのユーザーIDを入力する(ユースケースのユーザー識別子と一致させること)
- 必要に応じてQAテスター名やタグを追加する
- 各ユーザーに特定のトリートメントを優先順位付きで割り当てる
- 「保存」をクリックする
注意: 設定反映まで最大5分かかる。一度に挿入、リセット、または割り当てできるのは最大100ユーザー。
知っておくと便利:
- 下書き・停止中でもQA可能
- 配信条件は無視される
- ユーザーにデータがない場合、変数がそのまま表示される(例:
${personalization_field_1})
テスト配信
表示方法はサーフェスによって異なる。
アプリ内/ウェブサーフェス(バナー、カルーセル、アプリ内メッセージ):
手動操作は不要。QAユーザーが設定されると、ユーザーがアプリ内またはウェブサーフェスに移動したときに自動で表示される。
アプリ外配信(メール、プッシュ通知):
手動で配信を実行する必要がある。
- QA & テスト内のテストトリートメントをクリック
- QAユーザーIDを入力する(ステップ1のユーザーIDと一致させること)
- 必要に応じてコンテキスト属性を設定する
- 最大トリートメント数を設定する(最大10件)
- 右下の「実行」をクリックする
- ステータスが「成功」と表示されれば、配信が完了
表示内容の確認
対象サーフェスで以下を確認する。
メール:
- 各メールクライアントで正しく表示されるか確認する(Gmail、Outlook、Apple Mail)
- パーソナライズフィールドに正しいデータが表示されているか確認する(
${field_name}のような変数が表示されている場合、そのユーザーにはそのフィールドのデータがない) - 画像が表示されるか確認する
- リンクやCTAが正しい遷移先か確認する
- 配信停止リンクが機能するか確認する
プッシュ通知:
- QAデバイスに配信されているか確認する
- タイトル、本文、画像が正しく表示されているか確認する
- タップ時のディープリンクが正しいページを開くか確認する
アプリ内/ウェブバナー:
- ページの正しい位置に表示されているか確認する
- 各画面サイズ(モバイル、タブレット、デスクトップ)で正しく表示されるか確認する
- 閉じる動作が正しく機能するか確認する
- クリックが正しい遷移先を指しているか確認する
配信条件確認:対象ユーザーをチェックする
配信対象の確認
配信対象確認は、特定のユーザーが配信条件に基づいてトリートメントの対象になるかを確認する。
- トリートメント & ジャーニーページでトリートメントに移動する
- 配信対象確認をクリック
- ユーザーIDを入力する
- 「テスト」をクリックする — ユーザーが対象になるかどうかと理由が表示される
確認すべき内容:
- 対象になるユーザーで確認する: 対象になるはずのユーザーを使用して確認する
- 対象外ユーザーで確認する: 対象外のはずのユーザーを使用して確認する
- 境界値で確認する: 境界値をテストする(例:ルールが「days_since_signup < 7」の場合、6と7でテストする)
シミュレーション
シミュレーションは設定をまとめて検証する。ライブ前にユーザーベースのサンプルに対してトリートメントをテストする。
- コンソールのシミュレーションページに移動する
- 含めるユーザー数を設定する
- テスト対象のトリートメントを選択する
- 「新しいシミュレーションを実行」をクリックする
- 結果を確認する
結果で確認すべき内容:
- パーソナライズされたトリートメントが表示される
- 対象ユーザーの割合が想定通りか確認する
- トリートメントグループとコントロールグループの比率が実験設計と一致しているか確認する
- トラフィック配分が設定と一致しているか確認する
注意すべき点:
- 対象ユーザーが0%の場合 — 条件が厳しすぎる可能性がある
- 対象ユーザーが100%の場合 — 条件が広すぎる可能性がある
- 偏った分布 — モデルのバイアスや優先順位設定の誤りを示す可能性がある
トラブルシューティング
QAユーザーにトリートメントが届かない
- QAユーザーIDが完全一致しているか確認する(大文字・小文字の区別あり)
- 保存後5分待つ
- トリートメントが割り当てられているか確認する
- アプリ内/ウェブサーフェスの場合:ユーザーが正しいページに移動しているか確認する
- メール/プッシュの場合:テストトリートメントページから配信をトリガーしたか確認する
変数がそのまま表示される場合(例:${field_name})
- ユーザーに該当データがない — トリートメントは配信されるが、変数がそのまま表示される
- トリートメント設定でパーソナライズフィールド名が完全に一致しているか確認する
- 正しいパーソナライズを確認するには、そのフィールドのデータを持つQAユーザーを使用する
シミュレーションで予期しない分布が表示される
- 各トリートメントの配信条件を確認する
- 重複または競合する配信条件を確認する
- ユーザーベース全体でのパーソナライズフィールドのカバレッジを確認する
問題が解決しない場合は、Auxiaサポートチームに連絡する。
次のステップ
詳細はQAガイドを参照する。一般的なQAシナリオ、ライブ問題のデバッグ、詳細なチェックリストについては、包括的なQAガイドを参照する。