Fundamentos de Modelos de Linguagem Grandes (ZJU-LLMs)

Visão Geral

Fundamentos de LLMs é um livro didático educacional abrangente e um recurso de aprendizado criado pelo Laboratório de Banco de Dados e Análise de Big Data (DAILY Lab) da Universidade de Zhejiang. Este projeto de código aberto explica sistematicamente o conhecimento fundamental e introduz tecnologias de ponta relacionadas a Modelos de Linguagem Grandes (LLMs) para leitores interessados neste campo em rápida evolução.

Repositório: https://github.com/ZJU-LLMs/Foundations-of-LLMs Estrelas: Mais de 11.4k no GitHub Formato: Livro didático em PDF com materiais capítulo a capítulo e listas de artigos

Filosofia do Projeto

A equipe de autores está comprometida em:

• Ouvir sugestões da comunidade de código aberto e de especialistas
• Fornecer atualizações mensais para manter o conteúdo atualizado
• Criar um livro didático acessível, rigoroso e aprofundado sobre modelos grandes
• Rastrear os mais recentes desenvolvimentos tecnológicos por meio de listas de artigos selecionados para cada capítulo

Estrutura do Conteúdo

A primeira edição consiste em seis capítulos principais, cada um usando um animal diferente como pano de fundo temático para ilustrar tecnologias específicas:

Capítulo 1: Modelos de Linguagem Tradicionais

• Conceitos fundamentais em modelagem de linguagem
• Contexto histórico e evolução dos modelos de linguagem

Capítulo 2: Arquitetura de Modelos de Linguagem Grandes

• Evolução das arquiteturas de LLM
• Inovações arquitetônicas e princípios de design chave
• Análise comparativa de diferentes estruturas de modelo

Capítulo 3: Engenharia de Prompt

• Técnicas para design de prompt eficaz
• Estratégias de otimização de prompt
• Aplicações e melhores práticas

Capítulo 4: Ajuste Fino com Eficiência de Parâmetros (PEFT)

• Métodos para adaptação eficiente do modelo
• Técnicas de ajuste fino com poucos recursos
• LoRA, Prefix-tuning e outras abordagens PEFT

Capítulo 5: Edição de Modelo

• Técnicas para modificar o conhecimento do modelo
• Métodos de atualização e correção de conhecimento
• Preservando a integridade do modelo durante as edições

Capítulo 6: Geração Aumentada por Recuperação (RAG)

• Integração de sistemas de recuperação com modelos generativos
• Aprimorando as saídas de LLM com conhecimento externo
• Arquiteturas RAG e estratégias de implementação

Recursos Disponíveis

1. Livro Didático Completo

• Versão completa em PDF disponível em chinês
• Versão em inglês também disponível
• Cobertura abrangente de todos os seis capítulos

2. Conteúdo Capítulo a Capítulo

• Arquivos PDF individuais para cada capítulo
• Permite estudo focado em tópicos específicos
• Fácil navegação e referência

3. Listas de Artigos

• Coleções selecionadas de artigos de pesquisa relevantes para cada capítulo
• Continuamente atualizado com as últimas pesquisas
• Rastreia os desenvolvimentos de ponta em cada área

Direções Futuras

A equipe de autores planeja expandir o livro didático com capítulos adicionais cobrindo:

• Aceleração da Inferência de LLM: Técnicas para inferência de modelo mais rápida
• Agentes LLM: Agentes autônomos alimentados por modelos de linguagem grandes
• Tópicos emergentes adicionais no cenário de LLM

Público-Alvo

Este recurso de aprendizado é projetado para:

• Estudantes e pesquisadores em IA e PNL
• Profissionais que trabalham com LLMs
• Qualquer pessoa interessada em entender os fundamentos dos modelos de linguagem grandes
• Desenvolvedores que constroem aplicações baseadas em LLM

Características Únicas

1. Aprendizagem Visual: Cada capítulo apresenta um tema animal único para tornar os conceitos mais memoráveis e envolventes
2. Orientado pela Comunidade: Aberto a problemas e feedback da comunidade
3. Atualizações Regulares: Atualizações mensais garantem que o conteúdo permaneça atualizado
4. Listas de Artigos Abrangentes: Cada capítulo inclui artigos de pesquisa selecionados
5. Gratuito e Aberto: Completamente de código aberto e de acesso livre
6. Suporte Bilíngue: Disponível em chinês e inglês

Rigor Acadêmico

O conteúdo é baseado na exploração e compreensão da equipe de autores sobre as direções de pesquisa relevantes. A equipe acolhe ativamente correções e sugestões por meio de problemas do GitHub, garantindo melhoria e precisão contínuas.

Informações de Contato

Para perguntas ou sugestões relacionadas ao livro didático:

• Email: xuwenyi@zju.edu.cn
• Problemas do GitHub: Envie feedback e sugestões diretamente no repositório

Por Que Este Recurso Importa

Modelos de Linguagem Grandes se tornaram um dos avanços tecnológicos mais revolucionários na inteligência artificial. Este livro didático fornece:

• Fundação Sistemática: Construa a compreensão de modelos tradicionais a LLMs modernos
• Técnicas Práticas: Aprenda métodos acionáveis para trabalhar com LLMs
• Conexões de Pesquisa: Mantenha-se conectado com as últimas pesquisas por meio de listas de artigos
• Aprendizagem Progressiva: Mova-se de conceitos básicos a técnicas avançadas

Reconhecimento da Comunidade

Com mais de 11.400 estrelas no GitHub, este projeto ganhou reconhecimento significativo na comunidade de IA/ML como um recurso educacional valioso para entender Modelos de Linguagem Grandes.