FirebaseイベントトラッキングとBigQuery連携

​

Firebaseイベントトラッキング

​

1. イントラデイのFirebaseイベントデータ

• 定義: イントラデイイベントデータは、FirebaseからBigQueryにほぼリアルタイムでエクスポートされます。生成されたイベントデータをキャプチャし、一時的な events_intraday_* テーブルに書き込みます。
• 特徴:
  • これらのテーブルのデータは最終版ではなく、変更される可能性があります（例：遅延到着イベントや更新）。
  • 同日のイベントトレンドのリアルタイムモニタリングと分析に便利です。
  • 通常、日末エクスポートが完了すると置き換えまたは上書きされます。

​

2. 日末のFirebaseイベントデータ

• 定義: 日末イベントデータは、（今日 - 2日）より前の任意の日の最終的なイミュータブルなデータセットで、FirebaseからBigQueryにエクスポートされます。日付をサフィックスとした events_* という名前の新しいテーブルに書き込まれます（例：2025年1月8日の場合は events_20250108）。
• 特徴:
  • イミュータブル：一度書き込まれると変更できず、データの整合性と信頼性が保証されます。
  • 遅延到着や更新されたイベントを含む、特定の日に発生したすべてのイベントを集約します。
  • 履歴分析とレポーティングに適しています。
  • 日次アクティビティの完全で一貫した記録を維持するのに役立ちます。

​

Firebaseのエクスポート処理

• Firebaseはイントラデイテーブルをリアルタイムで自動更新し、各日の終了後にデータを日末テーブルに書き込んで確定します。
• パーティショニング:
  • 日末テーブルは、効率的なクエリのために event_date でパーティション分割されます。
  • イントラデイテーブルは一時的なものであるため、通常パーティション構造に従いません。

​

BigQueryへのエクスポート

​

AuxiaによるFirebaseデータとBigQuery連携のアーキテクチャ

​

標準BigQueryスキーマ

• https://firebase.google.com/docs/analytics/bigquery-export#bigquery_export_structure

​

テーブルのデータ取り込みガイドライン

​

ビューではなくテーブルを共有

1. コストと効率：テーブルへの直接アクセスにより、増分データを処理できるため、コストと処理時間を削減できます。ビューではデータセット全体の処理が必要で、時間とコストがかかります。
2. リアルタイムデータ：直接アクセスにより、最新のデータで作業でき、より迅速な意思決定が可能になります。
3. 効率性：テーブルを使用すると、正確でタイムリーなレコメンデーションを提供し、新しいパーソナライズ用フィールドをスムーズに追加して、ユーザーエンゲージメントを向上できます。

​

‘enable_change_history=TRUE’の設定

-- Remember to swap 'your-table-name' with the name of your BigQuery table
ALTER TABLE `your-table-name`
SET OPTIONS(enable_change_history=TRUE);

​

AuxiaとのBigQueryデータセット共有ガイドライン