大型語言模型基礎 (ZJU-LLMs)

概述

LLMs 基礎 是一本由浙江大學數據庫與大數據分析實驗室 (DAILY Lab) 創建的綜合性教育教科書和學習資源。這個開源項目系統地解釋了基礎知識，並為對這個快速發展的領域感興趣的讀者介紹了與大型語言模型 (LLMs) 相關的前沿技術。

倉庫： https://github.com/ZJU-LLMs/Foundations-of-LLMs GitHub 星星數： 11.4k+ 格式： PDF 教科書，包含逐章材料和論文列表

項目理念

作者團隊致力於：

• 傾聽來自開源社群和專家的建議
• 提供每月更新以保持內容最新
• 創建一本易於理解、嚴謹且深入的大型模型教科書
• 通過為每章策劃的論文列表追蹤最新的技術發展

內容結構

第一版包含 六個主要章節，每個章節都使用不同的動物作為主題背景來說明特定技術：

第 1 章：傳統語言模型

• 語言建模中的基礎概念
• 語言模型的歷史背景和演變

第 2 章：大型語言模型架構

• LLM 架構的演變
• 關鍵架構創新和設計原則
• 不同模型結構的比較分析

第 3 章：提示工程

• 有效提示設計的技術
• 提示優化策略
• 應用和最佳實踐

第 4 章：參數高效微調 (PEFT)

• 高效模型適應的方法
• 低資源微調技術
• LoRA、Prefix-tuning 和其他 PEFT 方法

第 5 章：模型編輯

• 修改模型知識的技術
• 知識更新和更正方法
• 在編輯過程中保持模型完整性

第 6 章：檢索增強生成 (RAG)

• 檢索系統與生成模型的整合
• 使用外部知識增強 LLM 輸出
• RAG 架構和實施策略

可用資源

1. 完整教科書

• 完整的中文 PDF 版本
• 英文版本也可用
• 全面涵蓋所有六個章節

2. 逐章內容

• 每章的單獨 PDF 文件
• 允許專注於特定主題的研究
• 易於導航和參考

3. 論文列表

• 為每章策劃的相關研究論文集
• 不斷更新最新的研究
• 追蹤每個領域的前沿發展

未來方向

作者團隊計劃擴展教科書，增加以下章節：

• LLM 推理加速：更快的模型推理技術
• LLM 代理：由大型語言模型驅動的自主代理
• LLM 領域中其他新興主題

目標受眾

此學習資源專為以下人員設計：

• 人工智慧和自然語言處理領域的學生和研究人員
• 使用 LLM 的從業者
• 任何有興趣了解大型語言模型基礎知識的人
• 開發基於 LLM 的應用程式的開發人員

獨特功能

1. 視覺學習：每章都以獨特的動物主題為特色，使概念更易於記憶和吸引人
2. 社群驅動：開放社群的問題和回饋
3. 定期更新：每月更新確保內容保持最新
4. 綜合論文列表：每章都包含策劃的研究論文
5. 免費且開放：完全開源且可免費訪問
6. 雙語支持：提供中文和英文版本

學術嚴謹性

內容基於作者團隊對相關研究方向的探索和理解。團隊積極歡迎通過 GitHub 問題進行更正和建議，以確保持續改進和準確性。

聯絡方式

有關教科書的問題或建議：

• 電子郵件： xuwenyi@zju.edu.cn
• GitHub 問題： 直接在倉庫上提交回饋和建議

此資源的重要性

大型語言模型已成為人工智慧領域最具革命性的技術進步之一。本教科書提供：

• 系統的基礎：建立從傳統模型到現代 LLM 的理解
• 實用技術：學習使用 LLM 的可行方法
• 研究聯繫：通過論文列表與最新的研究保持聯繫
• 漸進式學習：從基本概念到高級技術

社群認可

憑藉 GitHub 上超過 11,400 顆星，該項目已在 AI/ML 社群中獲得廣泛認可，成為理解大型語言模型的寶貴教育資源。