セクション 7: Agent and AI Insights (Analyst Agent)

​

7.1 Agent and AI Insights とは？

​

概要

• 「購入コンバージョンのトレンドはどうなっていますか？」
• 「今週最もパフォーマンスが良い Treatment はどれですか？」
• 「昨日エンゲージメントが低下したのはなぜですか？」

​

主な機能

​

仕組み

1. 自然言語で質問します
2. AI が意図を解釈します
3. データをクエリします
4. わかりやすい形式で結果を提示します

​

7.2 Agent and AI Insights へのアクセス

​

ナビゲーション

1. サイドバーの Agent and AI Insights をクリックします
2. チャットインターフェースが開きます

​

必要な権限

​

インターフェース概要

​

7.3 効果的な質問の仕方

​

質問の種類

• 「今週のコンバージョン率はどうですか？」
• 「昨日のインプレッション数はいくつですか？」
• 「過去30日間の CTR を表示してください」

• 「Treatment A と Treatment B を比較してください」
• 「今週と先週はどう違いますか？」
• 「最もパフォーマンスが良い Journey はどれですか？」

• 「エンゲージメントは上昇傾向ですか、下降傾向ですか？」
• 「日次のコンバージョントレンドを表示してください」
• 「過去1ヶ月間の購入はどうなりましたか？」

• 「月曜日にクリックが減少したのはなぜですか？」
• 「コンバージョン増加の要因は何ですか？」
• 「最もエンゲージメントが高い Surface はどれですか？」

​

より良い回答を得るためのヒント

• 効果が低い：「調子はどうですか？」
• 効果が高い：「今週の Welcome Journey のコンバージョン率はどうですか？」

• 特定の Journey、Treatment、または期間に言及する
• Goal を名前で参照する

• 初回の発見をさらに掘り下げる
• 原因を理解するために「なぜ」と質問する

​

会話の例

You: How did our New User Onboarding journey perform this week?

AI: The New User Onboarding journey had strong performance this week:
- 45,230 impressions (up 12% from last week)
- 2,156 clicks (CTR: 4.8%)
- 312 conversions (conversion rate: 0.69%)
- Uplift vs control: +23%

Top performing treatment: "Welcome Modal v2" with 5.2% CTR.

You: Why did engagement drop yesterday?

AI: Looking at yesterday's data, I see a 35% drop in engagement.
Potential causes:
1. The "Holiday Promo Banner" was paused at 2pm
2. This treatment typically drives 40% of daily engagement
3. Other treatments maintained normal levels

Recommendation: Review whether the pause was intentional,
and consider reactivating if appropriate.

​

7.4 レスポンスの理解

​

レスポンス形式

Total Conversions: 1,234
Conversion Rate: 3.2%
Week-over-Week Change: +15%

​

結果の解釈

• ベースラインを上回る Uplift
• 改善傾向のトレンド
• 平均以上の CTR

• 低下している指標
• 平均以下のパフォーマンス
• 予期しない変化

​

7.5 一般的なユースケース

​

日次チェックイン

• 「夜間に何が起きましたか？」
• 「過去24時間に異常はありましたか？」
• 「今日の主要な Journey のパフォーマンスはどうですか？」

​

Journey モニタリング

• 「ホリデー Journey の状況はどうですか？」
• 「新しい Treatment の CTR はどうですか？」
• 「コンバージョン Goal に対して順調ですか？」

​

パフォーマンス調査

• 「Journey X のパフォーマンスが低い理由は？」
• 「Treatment A と B の違いは何ですか？」
• 「最もコンバージョンが高いオーディエンスセグメントはどれですか？」

​

レポート準備

• 「今月のパフォーマンスを要約してください」
• 「コンバージョン数トップ5の Treatment は？」
• 「Q4の週次トレンドを教えてください」

​

最適化計画

• 「改善に注力すべき Treatment はどれですか？」
• 「ファネルのどこでユーザーを失っていますか？」
• 「どのような最適化の機会がありますか？」

​

7.6 プロンプトテンプレート

​

パフォーマンスレビュー

How did [journey/treatment name] perform in [time period]?

​

比較

Compare [item A] vs [item B] for [time period]

​

トレンド分析

Show me the [metric] trend for [time period]

​

調査

Why did [metric] [increase/decrease] on [date/period]?

​

トップパフォーマー

What were the top [N] [treatments/journeys] by [metric] in [time period]?

​

レコメンデーション

What optimization opportunities do you see for [journey/goal]?

​

7.7 ベストプラクティス

​

広い範囲から始めて絞り込む

1. ハイレベルな質問から始める
2. 関心のある領域を特定する
3. 詳細についてフォローアップ質問をする

​

期間を明確にする

• 「過去7日間」
• 「今月」
• 「12月1日〜15日」

​

特定のエンティティを参照する

• Treatment 名
• Journey 名
• Goal 名

​

重要な発見を保存する

• 重要な発見のスクリーンショットまたはコピーを取る
• プレゼンテーションやレポートに活用する
• チームメンバーと共有する

​

予期しない結果を検証する

• 確認のための追加質問をする
• Analytics ダッシュボードとクロスチェックする
• データのタイミング/遅延を考慮する

​

7.8 制限事項

​

Agent and AI Insights でできること

• データに関する質問への回答
• サマリー統計の提供
• トレンドやパターンの特定
• 最適化の提案

​

Agent and AI Insights でできないこと

​

データの鮮度

• ほとんどの指標：1〜4時間
• 一部の集計：最大24時間

​

7.9 トラブルシューティング

​

「そのデータはありません」

• 期間が直近すぎる（データ遅延）
• Journey/Treatment が存在しない
• そのデータへのアクセス権がない可能性

• 少し古い期間を使用する
• Journey/Treatment の名前を確認する
• データアクセスについて管理者に問い合わせる

​

一般的または役に立たない回答

• 質問をより具体的にする
• 期間を含める
• 特定の Treatment や Journey を名前で指定する
• よりシンプルで焦点を絞った質問をする

​

回答が遅い

• 複雑なクエリは10〜30秒かかることがあります
• 長い期間の範囲は時間がかかります

• より短い期間を試す
• まず簡単な質問をする
• ページを更新して再度試す

​

7.10 プライバシーとデータ

​

Agent and AI Insights がアクセスできるデータ

• お客様の会社の Console データ
• Treatment パフォーマンス指標
• 集計されたユーザー統計

​

Agent and AI Insights がアクセスできないデータ

• 個人のユーザーデータ（PII）
• 他社のデータ
• システム設定の詳細

​

データセキュリティ

• すべてのクエリは安全に処理されます
• 結果はお客様の権限範囲に限定されます
• 会話履歴はお客様のみが閲覧できます

​

7.11 高度な機能

​

マルチターン会話

You: How did Banner A perform last week?
AI: Banner A had 10,000 impressions and 450 clicks (4.5% CTR).

You: And this week?
AI: This week, Banner A had 12,000 impressions and 600 clicks
    (5.0% CTR) - a 0.5 percentage point improvement.

​

比較分析

You: Compare all my active treatments by CTR for the last 30 days

AI: Here are your active treatments ranked by CTR:
| Treatment | CTR | Impressions |
|-----------|-----|-------------|
| Modal B   | 6.2% | 15,000     |
| Banner A  | 4.5% | 45,000     |
| Push v2   | 3.8% | 28,000     |
| *(additional rows omitted)* | | |

​

異常検知

You: Were there any anomalies in the last week?

AI: I detected the following anomalies:
1. Dec 15: Push notification CTR dropped 40% (7pm-11pm)
2. Dec 17: Conversion rate spiked 85% (likely due to promo)

​

次のセクション