今日学ぶ概念
データパイプラインの全体像:Source → Staging → Warehouse → Mart の4層構造
田中シニアエンジニア: 「まず全体の設計図を描くことが大事だ。 いきなりコードを書き始めるのはエンジニアの悪い癖。 4層のパイプラインがどう繋がるか、頭の中を可視化しろ。 ちなみにこの設計は ELT という方式だ。 昔は ETL(先に変換してから格納)が主流だったが 今はクラウドDWHの処理能力が上がったので 生データをそのままロードして(EL) DWH内で変換する(T)方が速くて柔軟になった。」
ミッション
ShopNowのデータ基盤を設計してください。 4つのレイヤーを正しい順番で繋いで、 データパイプラインの全体像を作りましょう。 各レイヤーを右側のハンドル(●)からドラッグして 次のレイヤーに接続してください。
ヒント
左から右へ: Source → Staging → Warehouse → Mart の順番で繋ぐ
📋 クライアントの要件を確認する
設計を始める前に、このプロジェクトの制約を理解してください。
データ基盤の整備が急務。コンプライアンス部門から「全データ変換の監査証跡が必要」と指示あり。将来的に ML チームが分析データを使う予定。
💬 「全変換の監査証跡が法的に必要」という要件を満たすためには何が必要?