⚙️
パイプライン設計
Pipeline Design — データの流れを設計する
CloudStack/パイプライン設計⚙️ パイプライン設計
0 XP
1
設計室
洞窟
草原
火山
COMING
雪山
MModelion

今日学ぶ概念

SaaSデータ基盤の設計:サブスクリプション・ユーザー・イベントの3データソースを統合

田中シニアエンジニア: 「SaaSのデータは3種類ある。 サブスクリプション(課金)・ユーザー属性・プロダクトイベント。 この3つを統合して初めてチャーンの原因が見える。 まず全体の流れを設計しろ。」

ミッション

CloudStackのデータ基盤を設計してください。 3つのデータソース(サブスクリプション・ユーザー・イベント)が どのように流れるか、4層パイプラインを繋いで設計しましょう。

ヒント

左から右へ: Source → Staging → Warehouse → Mart の順番で繋ぐ

NEW QUESTパイプライン設計 — Step 0 / 3

📋 クライアントの要件を確認する

設計を始める前に、このプロジェクトの制約を理解してください。

🏢 エンタープライズ大手 EC プラットフォーム(月間受注 100 万件)

データ基盤の整備が急務。コンプライアンス部門から「全データ変換の監査証跡が必要」と指示あり。将来的に ML チームが分析データを使う予定。

⚖️全変換の監査証跡が法的に必要(生データを加工前に保持すること)
🧹受注データに NULL・型の不整合が多くクレンジングが必須
🤖6 ヶ月後に ML チームがスタースキーマで学習データを取得する予定
👥エンジニア 8 名・開発期間 6 ヶ月

💬 「全変換の監査証跡が法的に必要」という要件を満たすためには何が必要?