Introdução ao Curso de Boot Camp de Engenharia de Dados

Visão Geral do Curso

• Instrutor: Data with Zach
• Plataforma: YouTube
• Natureza do Curso: Boot Camp Gratuito de Engenharia de Dados
• Total de Visualizações: Mais de 2,34 milhões de visualizações
• Número de Vídeos: 21 vídeos

Estrutura do Conteúdo do Curso

Semana 1 - Fundamentos de Modelagem de Dados

1. 6-week Free Data Engineering Boot Camp Launch Video
2. 6-week Data Engineering Boot Camp Kick off and Informational video
3. Data Modeling - Complex Data Types and Cumulation - Day 1 Lecture (43:17)
4. Data Modeling - Cumulative Dimensions, Struct and Array - Day 1 Lab (41:17)
5. Data Modeling - Slowly Changing Dimensions and Idempotency - Day 2 Lecture (40:26)
6. Data Modeling - Building Slowly Changing Dimensions (SCDs) - Day 2 Lab (45:39)
7. Data Modeling - Graph Databases & Additive Dimensions - Day 3 Lecture (34:08)
8. Data Modeling - Building an NBA Player Network Graph - Day 3 Lab (42:15)

Semana 2 - Processamento de Big Data

9. How Meta Models Big Volume Event Data - Full 4 Hour Course (3:51:54)
10. Spark + Iceberg in 1 Hour - Memory Tuning, Joins, Partition - Week 3 Day 1 (1:15:02)

Semana 3 - Processamento de Dados de Alta Performance e Testes

11. High Performance Spark in 1 hour - DataFrame, Dataset, UDFs, Caching - Week 3 Day 2 (1:10:17)
12. Testing Apache Spark Jobs in CI/CD - Week 3 Day 3 (1:08:59)
13. Build a Gold Pipeline like Airbnb MIDAS Process - Week 3 Day 1 Analytics (1:19:47)
14. Master Data Contracts in 25 minutes! - Week 3 Day 2 Analytics (27:36)
15. Master Real-time Data Pipelines with Kafka and Flink - 3 hr Course (2:31:36)

Semana 4 - Padrões de Engenharia de Dados Empresariais

16. Data Engineer Design Patterns at Meta - Growth Accounting - Week 4 Day 1 (1:27:15)
17. Data Engineering Design Patterns at Meta - Funnel Analysis - Week 4 Day 1 (1:18:19)
18. Job-Ready Capstone Projects for Analytics Engineering (32:50)

Semana 5 - Mentalidade de Produto e KPIs

19. Data Engineering like a Product Manager - KPIs & Experiments - Week 5 (2:37:06)

Semana 6 - Manutenção e Visualização de Pipelines de Dados

20. Maintain Data Pipelines Like Netflix and Airbnb - Week 6 (2:24:43)
21. Build Data-Driven Business Value with Tableau Viz - Week 6 (1:49:41)

Características do Curso

Cobertura de Pilha Tecnológica

• Apache Spark: Ajuste de memória, operações de junção, estratégias de particionamento
• Apache Kafka: Processamento de fluxo de dados em tempo real
• Apache Flink: Framework de processamento de fluxo
• Iceberg: Formato de tabela de data lake
• Dados da NBA: Prática de banco de dados gráfico
• Tableau: Visualização de dados

Práticas de Nível Empresarial

• Padrões de design de engenharia de dados da Meta
• Estratégias de manutenção de pipeline de dados da Netflix e Airbnb
• Modelagem de dados de eventos em larga escala
• Gerenciamento de contratos de dados

Aprendizagem Orientada a Projetos

• Construção de grafo de rede de jogadores da NBA
• Implementação do processo MIDAS do Airbnb
• Desenvolvimento de pipeline de dados de ponta a ponta
• Projetos de processamento de fluxo em tempo real

Público-Alvo

• Iniciantes em engenharia de dados
• Desenvolvedores que desejam aprimorar suas habilidades em processamento de big data
• Engenheiros que desejam aprender arquitetura de dados de nível empresarial
• Profissionais de tecnologia interessados em processamento de dados em tempo real

Resultados de Aprendizagem

• Dominar a pilha tecnológica moderna de engenharia de dados
• Compreender as melhores práticas de processamento de dados de nível empresarial
• Adquirir a capacidade de construir pipelines de dados escaláveis
• Aprender a mentalidade de modelagem de dados e design de arquitetura