上下文工程學習資料詳細介紹

專案概述

上下文工程（Context Engineering） 是一個由 Andrej Karpathy 概念化的新興領域，專注於超越傳統的提示工程（Prompt Engineering），轉向更廣泛的上下文設計、編排和優化學科。這個 GitHub 專案提供了一個實用的、從第一原理出發的學習手冊。

核心理念

根據 Andrej Karpathy 的定義：

"Context engineering is the delicate art and science of filling the context window with just the right information for the next step."

"上下文工程是在上下文視窗中填充恰當資訊以進行下一步操作的精妙藝術與科學。"

提示工程 vs 上下文工程對比

提示工程（Prompt Engineering）      |  上下文工程（Context Engineering）
-----------------------------------|----------------------------------
專注於「你說什麼」                    |  專注於「模型看到的所有其他內容」
單一指令                           |  範例、記憶、檢索、工具、狀態、控制流

生物學隱喻架構

專案採用生物學隱喻來建構漸進式學習體系：

原子 → 分子 → 細胞 → 器官 → 神經生物系統 → 神經場理論
 |      |      |      |         |              |
單一   少量   記憶   多步     認知工具 +      神經場 +
提示   範例   狀態   代理     提示程式       持久性與共鳴

專案結構詳解

1. 基礎理論模組 (00_foundations/)

• 01_atoms_prompting.md - 原子級指令單元
• 02_molecules_context.md - 少量範例/上下文
• 03_cells_memory.md - 有狀態的對話層
• 04_organs_applications.md - 多步驟控制流
• 05_cognitive_tools.md - 心智模型擴展
• 06_advanced_applications.md - 現實世界實現
• 07_prompt_programming.md - 程式碼化推理模式
• 08_neural_fields_foundations.md - 上下文作為連續場
• 09_persistence_and_resonance.md - 場動力學與吸引子
• 10_field_orchestration.md - 協調多個場

2. 從零到專家指南 (10_guides_zero_to_hero/)

包含8個實踐教程，從最基礎的提示實驗到高級的神經場處理：

• 01_min_prompt.ipynb - 最小提示實驗
• 02_expand_context.ipynb - 上下文擴展技術
• 03_control_loops.ipynb - 流程控制機制
• 04_rag_recipes.ipynb - 檢索增強生成模式
• 05_prompt_programs.ipynb - 結構化推理程式
• 06_schema_design.ipynb - 模式創建模式
• 07_recursive_patterns.ipynb - 自引用上下文
• 08_neural_fields.ipynb - 基於場的上下文處理

3. 可復用組件模板 (20_templates/)

提供即用型組件模板：

• minimal_context.yaml - 基礎上下文結構
• control_loop.py - 編排模板
• scoring_functions.py - 評估指標
• prompt_program_template.py - 程式結構模板
• schema_template.yaml - 模式定義模板
• neural_field_context.yaml - 基於場的上下文模板

4. 實際應用範例 (30_examples/)

從簡單到複雜的實際專案：

• 00_toy_chatbot/ - 簡單對話代理
• 01_data_annotator/ - 資料標註系統
• 02_multi_agent_orchestrator/ - 代理協作系統
• 03_cognitive_assistant/ - 高級推理助手
• 04_rag_minimal/ - 最小 RAG 實現
• 05_neural_field_orchestrator/ - 基於場的編排

5. 認知工具框架 (cognitive-tools/)

高級認知框架，包含：

• cognitive-templates/ - 推理模板
• cognitive-programs/ - 結構化提示程式
• cognitive-schemas/ - 知識表示
• cognitive-architectures/ - 完整推理系統

6. 協議和框架 (60_protocols/)

• shells/ - 協議 shell 定義
• digests/ - 簡化協議文件
• schemas/ - 協議模式

核心概念解釋

概念	定義	重要性
Token 預算	優化上下文中的每個 token	更多 token = 更高成本和更慢響應
少樣本學習	透過展示範例來教學	通常比單純解釋更有效
記憶系統	跨輪次持久化資訊	實現有狀態、連貫的互動
檢索增強	查找並注入相關文件	基於事實的回應，減少幻覺
控制流	將複雜任務分解為步驟	用簡單提示解決複雜問題
上下文修剪	刪除不相關資訊	只保留性能所需的內容
指標與評估	測量上下文有效性	token 使用與品質的迭代優化

學習路徑

專案提供了清晰的學習路徑：

1. 閱讀基礎理論 (00_foundations/01_atoms_prompting.md) - 5分鐘
   ↓
2. 運行最小範例 (10_guides_zero_to_one/01_min_prompt.py)
   ↓
3. 探索模板 (20_templates/minimal_context.yaml)
   ↓
4. 研究完整實現 (30_examples/00_toy_chatbot/)

設計原則

• 第一原理 - 從基礎上下文開始
• 迭代添加 - 只添加模型明顯缺少的內容
• 測量一切 - token 成本、延遲、品質評分
• 無情刪除 - 修剪比填充更重要
• 程式碼優於投影片 - 每個概念都有可運行的程式碼
• 可視化一切 - 用 ASCII 和符號圖表可視化每個概念

適用人群

• AI/ML 研究人員和工程師
• 對提示工程有基礎了解的開發者
• 希望建構更強大 LLM 應用的從業者
• 對上下文優化感興趣的學習者

專案特色

1. 系統性方法 - 從原子級到系統級的完整框架
2. 實踐導向 - 每個概念都有可運行的範例
3. 漸進式學習 - 從簡單到複雜的學習路徑
4. 開源貢獻 - 歡迎社群貢獻和改進
5. 前沿理論 - 基於最新的 AI 研究成果

總結

這個專案代表了從傳統提示工程向更系統化、工程化的上下文設計方法的轉變。它不僅提供了理論框架，還包含了大量的實踐指南和可復用組件，是學習和掌握上下文工程的優秀資源。對於希望建構更強大、更可靠的 LLM 應用的開發者來說，這是一個不可多得的學習資料。