대규모 언어 모델 기초 (ZJU-LLMs)

개요

LLM 기초는 절강대학교 데이터베이스 및 빅데이터 분석 연구소(DAILY Lab)에서 제작한 종합적인 교육 교재 및 학습 자료입니다. 이 오픈 소스 프로젝트는 빠르게 진화하는 이 분야에 관심 있는 독자를 위해 대규모 언어 모델(LLM)과 관련된 기초 지식을 체계적으로 설명하고 최첨단 기술을 소개합니다.

리포지토리: https://github.com/ZJU-LLMs/Foundations-of-LLMs GitHub 스타 수: 11.4k+ 형식: 챕터별 자료 및 논문 목록이 포함된 PDF 교재

프로젝트 철학

저자 팀은 다음 사항을 약속합니다.

• 오픈 소스 커뮤니티 및 전문가의 제안 경청
• 최신 콘텐츠 유지를 위한 월별 업데이트 제공
• 대규모 모델에 대한 접근 가능하고 엄격하며 심층적인 교재 제작
• 각 챕터별 선별된 논문 목록을 통해 최신 기술 개발 추적

콘텐츠 구조

초판은 6개의 주요 챕터로 구성되며, 각 챕터는 특정 기술을 설명하기 위해 다양한 동물을 주제 배경으로 사용합니다.

챕터 1: 전통적인 언어 모델

• 언어 모델링의 기초 개념
• 언어 모델의 역사적 맥락 및 진화

챕터 2: 대규모 언어 모델 아키텍처

• LLM 아키텍처의 진화
• 주요 아키텍처 혁신 및 설계 원칙
• 다양한 모델 구조의 비교 분석

챕터 3: 프롬프트 엔지니어링

• 효과적인 프롬프트 설계를 위한 기술
• 프롬프트 최적화 전략
• 응용 분야 및 모범 사례

챕터 4: 파라미터 효율적인 미세 조정 (PEFT)

• 효율적인 모델 적응을 위한 방법
• 저자원 미세 조정 기술
• LoRA, Prefix-tuning 및 기타 PEFT 접근 방식

챕터 5: 모델 편집

• 모델 지식 수정 기술
• 지식 업데이트 및 수정 방법
• 편집 중 모델 무결성 유지

챕터 6: 검색 증강 생성 (RAG)

• 생성 모델과 검색 시스템의 통합
• 외부 지식을 활용한 LLM 출력 향상
• RAG 아키텍처 및 구현 전략

사용 가능한 자료

1. 전체 교재

• 중국어 전체 PDF 버전 제공
• 영어 버전도 제공
• 6개 챕터 전체에 대한 포괄적인 내용

2. 챕터별 콘텐츠

• 각 챕터별 개별 PDF 파일
• 특정 주제에 대한 집중 학습 가능
• 쉬운 탐색 및 참조

3. 논문 목록

• 각 챕터별 관련 연구 논문 선별 컬렉션
• 최신 연구로 지속적으로 업데이트
• 각 분야의 최첨단 개발 추적

향후 방향

저자 팀은 다음 내용을 다루는 추가 챕터를 통해 교재를 확장할 계획입니다.

• LLM 추론 가속: 더 빠른 모델 추론을 위한 기술
• LLM 에이전트: 대규모 언어 모델로 구동되는 자율 에이전트
• LLM 환경의 추가적인 새로운 주제

대상 독자

이 학습 자료는 다음을 위해 설계되었습니다.

• AI 및 NLP 분야의 학생 및 연구원
• LLM을 사용하는 실무자
• 대규모 언어 모델의 기초를 이해하는 데 관심 있는 모든 사람
• LLM 기반 애플리케이션을 구축하는 개발자

고유한 특징

1. 시각적 학습: 각 챕터는 고유한 동물 테마를 사용하여 개념을 더 기억에 남고 매력적으로 만듭니다.
2. 커뮤니티 중심: 커뮤니티의 문제 제기 및 피드백에 개방적입니다.
3. 정기적인 업데이트: 월별 업데이트를 통해 콘텐츠가 최신 상태로 유지됩니다.
4. 포괄적인 논문 목록: 각 챕터에는 선별된 연구 논문이 포함되어 있습니다.
5. 무료 및 개방: 완전한 오픈 소스이며 자유롭게 액세스할 수 있습니다.
6. 이중 언어 지원: 중국어와 영어로 제공됩니다.

학문적 엄격성

콘텐츠는 저자 팀의 관련 연구 방향에 대한 탐구 및 이해를 기반으로 합니다. 팀은 GitHub 이슈를 통해 수정 및 제안을 적극적으로 환영하여 지속적인 개선과 정확성을 보장합니다.

연락처 정보

교재 관련 질문이나 제안 사항은 다음으로 문의하십시오.

• 이메일: xuwenyi@zju.edu.cn
• GitHub 이슈: 리포지토리에서 직접 피드백 및 제안 제출

이 자료가 중요한 이유

대규모 언어 모델은 인공 지능 분야에서 가장 혁신적인 기술 발전 중 하나가 되었습니다. 이 교재는 다음을 제공합니다.

• 체계적인 기초: 전통적인 모델에서 최신 LLM까지 이해 구축
• 실용적인 기술: LLM 작업을 위한 실행 가능한 방법 학습
• 연구 연결: 논문 목록을 통해 최신 연구와 연결 유지
• 점진적인 학습: 기본 개념에서 고급 기술로 이동

커뮤니티 인정

GitHub에서 11,400개 이상의 스타를 획득한 이 프로젝트는 대규모 언어 모델을 이해하기 위한 귀중한 교육 자료로서 AI/ML 커뮤니티에서 상당한 인정을 받았습니다.