第三段階：データと特徴量エンジニアリング

Data with Zachによる6週間の無料データエンジニアリングブートキャンプ。データモデリング、ビッグデータ処理、リアルタイムストリーム処理など、エンタープライズレベルのデータエンジニアリングの実践を網羅。

Start Learning AI →
DataEngineeringApacheSparkBigDataYouTubeVideoFreeEnglish

データエンジニアリング ブートキャンプ コース紹介

コース概要

  • 講師: Data with Zach
  • プラットフォーム: YouTube
  • コースの性質: 無料データエンジニアリング トレーニングキャンプ
  • 総視聴回数: 234万回以上
  • 動画数: 21本

コース内容構成

Week 1 - データモデリングの基礎

  1. 6-week Free Data Engineering Boot Camp Launch Video
  2. 6-week Data Engineering Boot Camp Kick off and Informational video
  3. Data Modeling - Complex Data Types and Cumulation - Day 1 Lecture (43:17)
  4. Data Modeling - Cumulative Dimensions, Struct and Array - Day 1 Lab (41:17)
  5. Data Modeling - Slowly Changing Dimensions and Idempotency - Day 2 Lecture (40:26)
  6. Data Modeling - Building Slowly Changing Dimensions (SCDs) - Day 2 Lab (45:39)
  7. Data Modeling - Graph Databases & Additive Dimensions - Day 3 Lecture (34:08)
  8. Data Modeling - Building an NBA Player Network Graph - Day 3 Lab (42:15)

Week 2 - ビッグデータ処理

  1. How Meta Models Big Volume Event Data - Full 4 Hour Course (3:51:54)
  2. Spark + Iceberg in 1 Hour - Memory Tuning, Joins, Partition - Week 3 Day 1 (1:15:02)

Week 3 - 高性能データ処理とテスト

  1. High Performance Spark in 1 hour - DataFrame, Dataset, UDFs, Caching - Week 3 Day 2 (1:10:17)
  2. Testing Apache Spark Jobs in CI/CD - Week 3 Day 3 (1:08:59)
  3. Build a Gold Pipeline like Airbnb MIDAS Process - Week 3 Day 1 Analytics (1:19:47)
  4. Master Data Contracts in 25 minutes! - Week 3 Day 2 Analytics (27:36)
  5. Master Real-time Data Pipelines with Kafka and Flink - 3 hr Course (2:31:36)

Week 4 - エンタープライズデータエンジニアリングパターン

  1. Data Engineer Design Patterns at Meta - Growth Accounting - Week 4 Day 1 (1:27:15)
  2. Data Engineering Design Patterns at Meta - Funnel Analysis - Week 4 Day 1 (1:18:19)
  3. Job-Ready Capstone Projects for Analytics Engineering (32:50)

Week 5 - プロダクト思考とKPI

  1. Data Engineering like a Product Manager - KPIs & Experiments - Week 5 (2:37:06)

Week 6 - データパイプラインの保守と可視化

  1. Maintain Data Pipelines Like Netflix and Airbnb - Week 6 (2:24:43)
  2. Build Data-Driven Business Value with Tableau Viz - Week 6 (1:49:41)

コースの特徴

カバーする技術スタック

  • Apache Spark: メモリチューニング、結合操作、パーティション戦略
  • Apache Kafka: リアルタイムデータストリーム処理
  • Apache Flink: ストリーム処理フレームワーク
  • Iceberg: データレイクテーブルフォーマット
  • NBAデータ: グラフデータベース実践
  • Tableau: データ可視化

企業レベルの実践

  • Meta社のデータエンジニアリング設計パターン
  • NetflixとAirbnbのデータパイプライン保守戦略
  • 大規模イベントデータモデリング
  • データコントラクト管理

プロジェクトベースの学習

  • NBAプレイヤーネットワークグラフの構築
  • Airbnb MIDASプロセスの実装
  • エンドツーエンドのデータパイプライン開発
  • リアルタイムストリーム処理プロジェクト

対象者

  • データエンジニアリング初心者
  • ビッグデータ処理スキルを向上させたい開発者
  • 企業レベルのデータアーキテクチャを学びたいエンジニア
  • リアルタイムデータ処理に興味のある技術者

学習の成果

  • 最新のデータエンジニアリング技術スタックを習得
  • 企業レベルのデータ処理ベストプラクティスを理解
  • スケーラブルなデータパイプラインを構築する能力を習得
  • データモデリングとアーキテクチャ設計思考を習得