⚙️
パイプライン設計
Pipeline Design — データの流れを設計する
ShopNow/パイプライン設計⚙️ パイプライン設計
0 XP
1
設計室
洞窟
草原
火山
COMING
雪山
MModelion

今日学ぶ概念

データパイプラインの全体像:Source → Staging → Warehouse → Mart の4層構造

田中シニアエンジニア: 「まず全体の設計図を描くことが大事だ。 いきなりコードを書き始めるのはエンジニアの悪い癖。 4層のパイプラインがどう繋がるか、頭の中を可視化しろ。 ちなみにこの設計は ELT という方式だ。 昔は ETL(先に変換してから格納)が主流だったが 今はクラウドDWHの処理能力が上がったので 生データをそのままロードして(EL) DWH内で変換する(T)方が速くて柔軟になった。」

ミッション

ShopNowのデータ基盤を設計してください。 4つのレイヤーを正しい順番で繋いで、 データパイプラインの全体像を作りましょう。 各レイヤーを右側のハンドル(●)からドラッグして 次のレイヤーに接続してください。

ヒント

左から右へ: Source → Staging → Warehouse → Mart の順番で繋ぐ

NEW QUESTパイプライン設計 — Step 0 / 3

📋 クライアントの要件を確認する

設計を始める前に、このプロジェクトの制約を理解してください。

🏢 エンタープライズ大手 EC プラットフォーム(月間受注 100 万件)

データ基盤の整備が急務。コンプライアンス部門から「全データ変換の監査証跡が必要」と指示あり。将来的に ML チームが分析データを使う予定。

⚖️全変換の監査証跡が法的に必要(生データを加工前に保持すること)
🧹受注データに NULL・型の不整合が多くクレンジングが必須
🤖6 ヶ月後に ML チームがスタースキーマで学習データを取得する予定
👥エンジニア 8 名・開発期間 6 ヶ月

💬 「全変換の監査証跡が法的に必要」という要件を満たすためには何が必要?