Phase 3: Daten- und Feature-Engineering

Ein 6-wöchiges kostenloses Data Engineering Boot Camp von Data with Zach, das Data Modeling, Big Data Processing, Echtzeit-Stream-Verarbeitung und andere Data Engineering Praktiken auf Unternehmensebene abdeckt.

Start Learning AI →
DataEngineeringApacheSparkBigDataYouTubeVideoFreeEnglish

Kursbeschreibung: Data Engineering Boot Camp

Kursübersicht

  • Dozent: Data with Zach
  • Plattform: YouTube
  • Kursart: Kostenloses Data Engineering Bootcamp
  • Gesamtaufrufe: Über 2,34 Millionen Aufrufe
  • Anzahl der Videos: 21 Videos

Kursinhaltsstruktur

Woche 1 - Grundlagen der Datenmodellierung

  1. 6-week Free Data Engineering Boot Camp Launch Video
  2. 6-week Data Engineering Boot Camp Kick off and Informational video
  3. Data Modeling - Complex Data Types and Cumulation - Day 1 Lecture (43:17)
  4. Data Modeling - Cumulative Dimensions, Struct and Array - Day 1 Lab (41:17)
  5. Data Modeling - Slowly Changing Dimensions and Idempotency - Day 2 Lecture (40:26)
  6. Data Modeling - Building Slowly Changing Dimensions (SCDs) - Day 2 Lab (45:39)
  7. Data Modeling - Graph Databases & Additive Dimensions - Day 3 Lecture (34:08)
  8. Data Modeling - Building an NBA Player Network Graph - Day 3 Lab (42:15)

Woche 2 - Big Data Verarbeitung

  1. How Meta Models Big Volume Event Data - Full 4 Hour Course (3:51:54)
  2. Spark + Iceberg in 1 Hour - Memory Tuning, Joins, Partition - Week 3 Day 1 (1:15:02)

Woche 3 - Hochleistungs-Datenverarbeitung und -Tests

  1. High Performance Spark in 1 hour - DataFrame, Dataset, UDFs, Caching - Week 3 Day 2 (1:10:17)
  2. Testing Apache Spark Jobs in CI/CD - Week 3 Day 3 (1:08:59)
  3. Build a Gold Pipeline like Airbnb MIDAS Process - Week 3 Day 1 Analytics (1:19:47)
  4. Master Data Contracts in 25 minutes! - Week 3 Day 2 Analytics (27:36)
  5. Master Real-time Data Pipelines with Kafka and Flink - 3 hr Course (2:31:36)

Woche 4 - Enterprise Data Engineering Muster

  1. Data Engineer Design Patterns at Meta - Growth Accounting - Week 4 Day 1 (1:27:15)
  2. Data Engineering Design Patterns at Meta - Funnel Analysis - Week 4 Day 1 (1:18:19)
  3. Job-Ready Capstone Projects for Analytics Engineering (32:50)

Woche 5 - Produktorientiertes Denken und KPIs

  1. Data Engineering like a Product Manager - KPIs & Experiments - Week 5 (2:37:06)

Woche 6 - Datenpipeline-Wartung und Visualisierung

  1. Maintain Data Pipelines Like Netflix and Airbnb - Week 6 (2:24:43)
  2. Build Data-Driven Business Value with Tableau Viz - Week 6 (1:49:41)

Kursmerkmale

Abgedeckter Technologie-Stack

  • Apache Spark: Speicheroptimierung, Join-Operationen, Partitionierungsstrategien
  • Apache Kafka: Echtzeit-Datenstromverarbeitung
  • Apache Flink: Stream-Verarbeitungs-Framework
  • Iceberg: Data Lake Tabellenformat
  • NBA-Daten: Praxis mit Graphdatenbanken
  • Tableau: Datenvisualisierung

Unternehmenspraktiken

  • Data Engineering Design Patterns von Meta
  • Datenpipeline-Wartungsstrategien von Netflix und Airbnb
  • Modellierung von Massenereignisdaten
  • Datenvertragsmanagement

Projektbasiertes Lernen

  • Erstellung eines NBA-Spieler-Netzwerkgraphen
  • Implementierung des Airbnb MIDAS-Prozesses
  • End-to-End-Datenpipeline-Entwicklung
  • Echtzeit-Stream-Verarbeitungsprojekte

Zielgruppe

  • Anfänger im Data Engineering
  • Entwickler, die ihre Big Data Verarbeitungsfähigkeiten verbessern möchten
  • Ingenieure, die Unternehmens-Datenarchitektur lernen möchten
  • Techniker, die an Echtzeit-Datenverarbeitung interessiert sind

Lernergebnisse

  • Beherrschung des modernen Data Engineering Technologie-Stacks
  • Verständnis der Best Practices für die Datenverarbeitung auf Unternehmensebene
  • Fähigkeit, skalierbare Datenpipelines zu erstellen
  • Erlernen von Datenmodellierungs- und Architekturdesign-Denkweisen