第四段階：深層学習とニューラルネットワーク

浙江大学発のオープンソースLLM教科書。アーキテクチャ、プロンプトエンジニアリング、ファインチューニング、モデル編集、RAGを網羅。

Start Learning AI →
大規模言語モデルプロンプトエンジニアリングPEFTGitHubTextFree多语言

大規模言語モデルの基礎 (ZJU-LLMs)

概要

LLMの基礎 は、浙江大学のデータベース・ビッグデータ分析研究所 (DAILY Lab) によって作成された、包括的な教育用教科書および学習リソースです。このオープンソースプロジェクトは、急速に進化するこの分野に関心のある読者のために、大規模言語モデル (LLM) に関連する基礎知識を体系的に説明し、最先端の技術を紹介します。

リポジトリ: https://github.com/ZJU-LLMs/Foundations-of-LLMs スター数: GitHubで11.4k+ 形式: 章ごとの資料と論文リストを含むPDF教科書

プロジェクトの理念

著者チームは以下に尽力しています。

  • オープンソースコミュニティと専門家からの提案に耳を傾ける
  • コンテンツを最新の状態に保つために毎月更新する
  • 大規模モデルに関するアクセスしやすく、厳密で、詳細な教科書を作成する
  • 各章の厳選された論文リストを通じて、最新の技術開発を追跡する

コンテンツ構成

初版は6つの主要な章で構成されており、各章は特定の技術を説明するために、異なる動物をテーマの背景として使用しています。

第1章: 従来の言語モデル

  • 言語モデリングの基礎概念
  • 言語モデルの歴史的背景と進化

第2章: 大規模言語モデルのアーキテクチャ

  • LLMアーキテクチャの進化
  • 主要なアーキテクチャの革新と設計原則
  • さまざまなモデル構造の比較分析

第3章: プロンプトエンジニアリング

  • 効果的なプロンプト設計のテクニック
  • プロンプト最適化戦略
  • アプリケーションとベストプラクティス

第4章: パラメータ効率的なファインチューニング (PEFT)

  • 効率的なモデル適応のための手法
  • 低リソースのファインチューニング技術
  • LoRA、Prefix-tuning、その他のPEFTアプローチ

第5章: モデル編集

  • モデルの知識を修正するためのテクニック
  • 知識の更新と修正方法
  • 編集中のモデルの整合性の維持

第6章: 検索拡張生成 (RAG)

  • 生成モデルと検索システムの統合
  • 外部知識によるLLM出力の強化
  • RAGアーキテクチャと実装戦略

利用可能なリソース

1. 完全な教科書

  • 中国語のフルPDF版が利用可能
  • 英語版も利用可能
  • 6つの章すべてを包括的に網羅

2. 章ごとのコンテンツ

  • 各章の個別のPDFファイル
  • 特定のトピックに焦点を当てた学習が可能
  • 簡単なナビゲーションと参照

3. 論文リスト

  • 各章に関連する研究論文の厳選されたコレクション
  • 最新の研究で継続的に更新
  • 各分野の最先端の開発を追跡

今後の方向性

著者チームは、以下の章を追加して教科書を拡張する予定です。

  • LLM推論の高速化: より高速なモデル推論のためのテクニック
  • LLMエージェント: 大規模言語モデルによって駆動される自律エージェント
  • LLMの状況におけるその他の新たなトピック

対象読者

この学習リソースは、以下の方々を対象としています。

  • AIおよびNLPの学生および研究者
  • LLMを扱う実務家
  • 大規模言語モデルの基礎を理解することに関心のあるすべての人
  • LLMベースのアプリケーションを構築する開発者

ユニークな特徴

  1. 視覚的な学習: 各章は、概念をより記憶に残る魅力的なものにするために、ユニークな動物のテーマを特徴としています。
  2. コミュニティ主導: コミュニティからの問題提起やフィードバックを受け付けています。
  3. 定期的な更新: 毎月の更新により、コンテンツが最新の状態に保たれます。
  4. 包括的な論文リスト: 各章には、厳選された研究論文が含まれています。
  5. 無料およびオープン: 完全にオープンソースで、自由にアクセスできます。
  6. バイリンガルサポート: 中国語と英語の両方で利用できます。

学術的な厳密さ

コンテンツは、著者チームの関連する研究方向の探求と理解に基づいています。チームは、GitHubの問題を通じて修正や提案を積極的に歓迎し、継続的な改善と正確性を保証します。

連絡先情報

教科書に関する質問や提案については、以下までご連絡ください。

  • メール: xuwenyi@zju.edu.cn
  • GitHub Issues: リポジトリに直接フィードバックや提案を送信してください。

このリソースが重要な理由

大規模言語モデルは、人工知能における最も革新的な技術的進歩の1つになりました。この教科書は以下を提供します。

  • 体系的な基礎: 従来のモデルから最新のLLMまで理解を深めます。
  • 実践的なテクニック: LLMを扱うための実用的な方法を学びます。
  • 研究とのつながり: 論文リストを通じて最新の研究とのつながりを維持します。
  • 段階的な学習: 基本概念から高度なテクニックへと進みます。

コミュニティの認識

GitHubで11,400以上のスターを獲得しているこのプロジェクトは、大規模言語モデルを理解するための貴重な教育リソースとして、AI/MLコミュニティで大きな認識を得ています。