機器學習系統課程詳細介紹

📚 課程概述

機器學習系統 (Machine Learning Systems) 是一本系統性的機器學習工程教材，源自哈佛大學 CS249r 課程，由 Vijay Janapa Reddi 教授主講。這是一本開源、持續更新的線上教材，將於 2026 年由 MIT Press 正式出版。

核心特點

• 系統化視角: 不同於只關注演算法和模型架構的資源，本課程強調機器學習系統運作的整體背景
• 理論與實踐結合: 連結理論基礎與實際工程應用
• 全生命週期覆蓋: 從資料工程、模型最佳化、硬體感知訓練到推論加速
• 開源協作: 完全開源，持續更新，社群驅動

🎯 學習目標

本課程基於布魯姆教育分類法 (Bloom's Taxonomy) 設計，涵蓋六個學習層次：

1. 記憶 (Remembering): 回顧基本事實和概念
2. 理解 (Understanding): 解釋想法或過程
3. 應用 (Applying): 在新情況中使用知識
4. 分析 (Analyzing): 將資訊分解為組成部分
5. 評估 (Evaluating): 基於標準做出判斷
6. 創造 (Creating): 將元素組合成連貫的整體

📖 課程結構

五個學習階段

Phase 1: Theory (理論基礎)

透過 Foundations 和 Design Principles 建立概念基礎，形成支撐所有有效系統運作的思維模型。

Phase 2: Performance (效能工程)

掌握 Performance Engineering，將理論理解轉化為在資源受限的真實環境中高效運作的系統。

Phase 3: Practice (實踐部署)

應對 Robust Deployment 挑戰，學習如何使系統在開發環境之外可靠運作。

Phase 4: Labs (實驗實踐)

透過策略性安排的實驗練習，在多個嵌入式平台上進行實際操作。

Phase 5: Assessment (自我評估)

透過貫穿全書的測驗，在關鍵學習里程碑強化理解。

核心主題

• 資料工程 (Data Engineering): 高效收集、預處理和管理資料，為機器學習流程做準備
• 模型最佳化 (Model Optimization): 最佳化模型架構和訓練流程
• 硬體加速 (Hardware Acceleration): 利用專用硬體加速 AI 計算
• 推論加速 (Inference Acceleration): 最佳化模型推論效能
• AI 訓練 (AI Training): 分散式訓練和最佳化策略
• 高效 AI (Efficient AI): 資源受限環境下的高效模型設計
• 裝置端學習 (On-Device Learning): 邊緣裝置上的機器學習
• ML 維運 (ML Operations): 模型部署、監控和維護
• 基準測試 (Benchmarking AI): AI 系統效能評估
• 永續 AI (Sustainable AI): 環保和高效的 AI 系統
• 穩健 AI (Robust AI): 建構可靠和安全的 AI 系統
• 善用 AI (AI for Good): AI 的社會應用和倫理考量

🛠️ 特色工具

SocratiQ AI 學習助手

受蘇格拉底教學法啟發的 AI 學習夥伴，提供：

• 互動測驗: 基於閱讀內容自動生成測驗
• 個人化輔助: 即時回饋和指導
• 主動學習: 從被動消費轉向主動創造學習體驗

Tiny🔥Torch

從零開始建構自己的機器學習框架，學習：

• 自動微分
• 訓練循環
• 分散式系統

實踐平台

• Seeed TinyML Kit: 最新的動手學習平台
• 多種嵌入式開發板支援
• 從邊緣裝置到雲端部署的完整實踐

🌍 開放教育使命

核心價值觀

"If you want to go fast, go alone. If you want to go far, go together."
(如果你想走得快，就一個人走；如果你想走得遠，就一起走。)

全球影響力

• 完全開源: 所有內容在 mlsysbook.ai 免費存取
• GitHub 開源: harvard-edge/cs249r_book
• 社群驅動: 歡迎全球學習者、教育者和貢獻者參與
• 持續更新: 反映機器學習系統領域的最新發展
• 多格式支援: 線上網站、PDF、EPUB

支援機構

• EDGE AI Foundation: 匹配每個 GitHub Star 為教育提供資金支援
• 多家科技公司提供硬體套件支援
• 全球教育機構和非營利組織支援

📝 許可協議

本教材採用 Creative Commons Attribution–NonCommercial–ShareAlike 4.0 International (CC BY-NC-SA 4.0) 許可：

• 可以分享和改編材料
• 需註明出處
• 僅限非商業用途
• 相同方式分享

🎓 適用人群

學生群體

• 電腦科學專業學生
• 自學的 AI/ML 從業者
• 希望擴展 ML 系統知識的專業人士

教育工作者

• 大學教授
• 企業培訓師
• 訓練營講師
• 教育內容創作者

實踐者

• ML 系統工程師
• AI 應用開發者
• 嵌入式系統開發者

🔄 最新更新 (2025)

• [May 05]: 修訂第 14 章 (裝置端學習 📱)
• [Mar 25]: 重大更新第 13 章 (ML 維運 ⚙️)、第 17-19 章 (永續 AI 🌿、穩健 AI 🛡️、善用 AI 🌍)
• [Mar 03]: 更新第 10 章 (AI 加速) 和第 12 章 (AI 基準測試 📊)
• [Feb 02]: 更新第 8 章 (AI 訓練 🏋️) 和第 9 章 (高效 AI)
• [Jan 16]: 擴展第 1-7 章，全新第 4 章 🔢

📚 引用格式

@inproceedings{reddi2024mlsysbook,
  title = {MLSysBook.AI: Principles and Practices of Machine Learning Systems Engineering},
  author = {Reddi, Vijay Janapa},
  booktitle = {2024 International Conference on Hardware/Software Codesign and System Synthesis (CODES+ ISSS)},
  pages = {41--42},
  year = {2024},
  organization = {IEEE},
  url = {https://mlsysbook.org}
}

🔗 相關資源

• 線上閱讀: https://mlsysbook.ai
• GitHub 儲存庫: https://github.com/harvard-edge/cs249r_book
• TensorFlow 部落格: 介紹如何將 MLSysBook 與 TensorFlow 生態系統結合
• AI 生成播客: 使用 Google Notebook LM 生成的課程概覽播客

🤝 如何貢獻

歡迎全球社群貢獻：

• 📝 內容: 建議編輯、改進或新範例
• 🛠️ 工具: 增強開發腳本和自動化
• 🎨 設計: 改進圖表、示意圖和視覺元素
• 🌍 本地化: 翻譯內容以提高全球可存取性

透過 GitHub Issues 提交回饋和建議。

💡 核心理念

這本教材源於一個關切：雖然學生熱衷於訓練 AI 模型並成為 AI 程式設計師，但很少有人理解如何建構真正讓模型運作的系統。隨著 AI 變得更加強大和自主，關鍵瓶頸將不是演算法本身，而是能夠建構高效、可擴展和永續的系統、安全利用這種智慧的 AI 工程師。

這不僅僅是一本靜態教科書，而是一個與時俱進、不斷演進的學習資源，旨在跟上機器學習系統領域的進步腳步。