"대규모 언어 모델 실습" 강좌 상세 소개

강좌 개요

**"대규모 언어 모델 실습"**은 상하이 자오퉁 대학에서 개발한 대규모 언어 모델 프로그래밍 실습 튜토리얼로, 2024년 봄 학기 "인공지능 보안 기술" 강좌(NIS3353)에서 시작되었습니다. 장줘성(Zhang Zhuosheng) 교수가 주도하며, 학습자에게 대규모 언어 모델 관련 입문 프로그래밍 참고 자료를 제공하는 것을 목표로 하는 공익적이고 완전 무료인 오픈소스 교육 자료입니다.

튜토리얼 특징

• 실전 지향: 간단한 실습을 통해 학습자가 대규모 언어 모델에 빠르게 입문하도록 돕습니다.
• 완전 무료: 공익적 성격으로, 어떠한 비용도 없습니다.
• 산학 협력: 최고 수준 대학의 강의 자료를 확장했습니다.
• 지속적인 업데이트: 2025년 6월에 주요 업데이트가 진행되어 새로운 주제와 국산화된 콘텐츠가 추가되었습니다.

핵심 교육 내용

주요 챕터 구성

제1장: 미세 조정 및 배포

• 주요 내용: 사전 학습 모델 미세 조정 및 배포 가이드
• 학습 목표: 적절한 사전 학습 모델을 선택하고, 특정 작업에 대해 미세 조정을 수행하며, 미세 조정된 모델을 사용 가능한 데모로 배포하는 방법을 숙달합니다.
• 제공 자료:
  • 강의 자료 (PDF 형식)
  • 상세 튜토리얼 문서
  • 실습 스크립트 (Jupyter Notebook)

제2장: 프롬프트 엔지니어링

• 학습 자료:
  • dive-into-prompting.pdf 강의 자료
  • README.md 튜토리얼 문서
  • dive-prompting.ipynb 실습 스크립트

제3장: 모델 편집

• 학습 자료:
  • dive_edit_0410.pdf 강의 자료
  • 전체 튜토리얼 문서
  • dive_edit.ipynb 실습 스크립트

제4장: 수학적 추론

• 학습 자료:
  • math.pdf 강의 자료
  • 튜토리얼 문서
  • sft_math.ipynb 수학적 추론 실습 스크립트

제5장: 워터마킹 기술

• 학습 자료:
  • watermark.pdf 강의 자료
  • 튜토리얼 문서
  • watermark.ipynb 실습 스크립트

제6장: 탈옥 공격

• 학습 자료:
  • dive-Jailbreak.pdf 강의 자료
  • 튜토리얼 문서
  • dive-jailbreak.ipynb 실습 스크립트

제7장: 스테가노그래피

• 학습 자료:
  • stega.pdf 강의 자료
  • 튜토리얼 문서
  • llm_stega.ipynb 실습 스크립트

제8장: 멀티모달 대규모 언어 모델

• 학습 자료:
  • mllms.pdf 강의 자료
  • 튜토리얼 문서
  • mllms.ipynb 실습 스크립트

제9장: GUI 에이전트

• 학습 자료:
  • GUIagent.pdf 강의 자료
  • 튜토리얼 문서
  • GUIagent.ipynb 실습 스크립트

제10장: AI 보안

• 학습 자료:
  • dive-into-safety.pdf 강의 자료
  • 튜토리얼 문서
  • agent.ipynb 실습 스크립트

제11장: 대규모 언어 모델 정렬 (RLHF)

• 학습 자료:
  • RLHF.pdf 강의 자료
  • 튜토리얼 문서
  • RLHF.ipynb 실습 스크립트

특별 하이라이트

국산화 "대규모 언어 모델 개발 전체 과정" 시리즈

2025년 6월 업데이트에서, 튜토리얼은 화웨이 셩텅(Huawei Ascend) 커뮤니티와 협력하여 국산화 버전을 출시했습니다:

• 기술 지원: 화웨이 셩텅의 기본 소프트웨어 및 하드웨어 기반 개발
• 튜토리얼 형식: PPT, 실험 매뉴얼, 비디오 등 다양한 형식 포함
• 난이도 수준: 초급, 중급, 고급 시리즈로 나뉩니다.
• 학습 경로: 다양한 대규모 언어 모델 실습 요구 사항에 맞춰 제공됩니다.
• 실습 지향: 최첨단 기술을 코드 실습 방식으로 제시합니다.

학습 자료 구조

각 장은 세 가지 핵심 자료를 제공합니다:

1. 강의 자료 (PDF): 이론 지식 및 개념 설명
2. 튜토리얼 문서 (README.md): 상세한 단계별 지침
3. 실습 스크립트 (Jupyter Notebook): 실행 가능한 코드 예시

대상 독자

• 대규모 언어 모델에 입문하고자 하는 초보자
• 강좌 설계를 해야 하는 학생
• 학술 연구에 종사하는 연구원
• 대규모 언어 모델 실습에 관심 있는 개발자
• AI 보안 기술을 이해하고자 하는 실무자

기술적 특징

• 강력한 실용성: 각 장마다 해당 실행 가능한 코드가 있습니다.
• 우수한 체계성: 기본 개념부터 고급 응용까지 단계적으로 진행됩니다.
• 높은 최신성: 최신 대규모 언어 모델 기술 및 보안 문제를 다룹니다.
• 이해하기 쉬움: 대학 강좌에서 파생되어 완전한 교육 시스템을 갖추고 있습니다.

접근 및 사용

• 오픈소스 무료: 프로젝트는 완전히 오픈소스이며, 누구나 무료로 접근할 수 있습니다.
• 지속적인 업데이트: 프로젝트 팀이 콘텐츠를 지속적으로 유지 관리하고 업데이트합니다.
• 커뮤니티 지원: 이슈 및 풀 리퀘스트 제출을 환영합니다.
• 학술적 배경: 상하이 자오퉁 대학의 정식 강좌를 기반으로 개발되었습니다.

업데이트 이력

• 2025년 6월: 주요 업데이트, 국산화 콘텐츠 및 새로운 주제 추가
• 지속적인 유지 관리: 프로젝트 팀이 정기적으로 콘텐츠를 업데이트하고 개선합니다.

---

참고: 본 튜토리얼의 모든 내용은 기여자들의 개인 경험, 인터넷 데이터 및 연구 작업 축적을 기반으로 하며, 학습 참고용으로만 사용됩니다.