Fundamentos de los Modelos de Lenguaje Grandes (ZJU-LLMs)

Resumen

Fundamentos de los LLMs es un libro de texto educativo y un recurso de aprendizaje integral creado por el Laboratorio de Bases de Datos y Análisis de Big Data (DAILY Lab) de la Universidad de Zhejiang. Este proyecto de código abierto explica sistemáticamente el conocimiento fundamental e introduce tecnologías de vanguardia relacionadas con los Modelos de Lenguaje Grandes (LLMs) para lectores interesados en este campo en rápida evolución.

Repositorio: https://github.com/ZJU-LLMs/Foundations-of-LLMs Estrellas: Más de 11.4k en GitHub Formato: Libro de texto en PDF con materiales capítulo por capítulo y listas de artículos

Filosofía del Proyecto

El equipo de autores está comprometido a:

• Escuchar las sugerencias de la comunidad de código abierto y de los expertos
• Proporcionar actualizaciones mensuales para mantener el contenido actualizado
• Crear un libro de texto accesible, riguroso y profundo sobre modelos grandes
• Rastrear los últimos desarrollos tecnológicos a través de listas de artículos seleccionados para cada capítulo

Estructura del Contenido

La primera edición consta de seis capítulos principales, cada uno utilizando un animal diferente como trasfondo temático para ilustrar tecnologías específicas:

Capítulo 1: Modelos de Lenguaje Tradicionales

• Conceptos fundamentales en el modelado del lenguaje
• Contexto histórico y evolución de los modelos de lenguaje

Capítulo 2: Arquitectura de los Modelos de Lenguaje Grandes

• Evolución de las arquitecturas de LLM
• Innovaciones arquitectónicas clave y principios de diseño
• Análisis comparativo de diferentes estructuras de modelos

Capítulo 3: Ingeniería de Prompts

• Técnicas para el diseño eficaz de prompts
• Estrategias de optimización de prompts
• Aplicaciones y mejores prácticas

Capítulo 4: Fine-Tuning Eficiente en Parámetros (PEFT)

• Métodos para la adaptación eficiente de modelos
• Técnicas de fine-tuning con pocos recursos
• LoRA, Prefix-tuning y otros enfoques PEFT

Capítulo 5: Edición de Modelos

• Técnicas para modificar el conocimiento del modelo
• Métodos de actualización y corrección del conocimiento
• Preservación de la integridad del modelo durante las ediciones

Capítulo 6: Generación Aumentada por Recuperación (RAG)

• Integración de sistemas de recuperación con modelos generativos
• Mejora de las salidas de LLM con conocimiento externo
• Arquitecturas RAG y estrategias de implementación

Recursos Disponibles

1. Libro de Texto Completo

• Versión completa en PDF disponible en chino
• Versión en inglés también disponible
• Cobertura completa de los seis capítulos

2. Contenido Capítulo por Capítulo

• Archivos PDF individuales para cada capítulo
• Permite el estudio enfocado en temas específicos
• Fácil navegación y referencia

3. Listas de Artículos

• Colecciones seleccionadas de artículos de investigación relevantes para cada capítulo
• Actualizadas continuamente con las últimas investigaciones
• Rastrean los desarrollos de vanguardia en cada área

Direcciones Futuras

El equipo de autores planea expandir el libro de texto con capítulos adicionales que cubran:

• Aceleración de la Inferencia de LLM: Técnicas para una inferencia de modelos más rápida
• Agentes LLM: Agentes autónomos impulsados por modelos de lenguaje grandes
• Temas emergentes adicionales en el panorama de los LLM

Público Objetivo

Este recurso de aprendizaje está diseñado para:

• Estudiantes e investigadores en IA y PNL
• Profesionales que trabajan con LLMs
• Cualquiera interesado en comprender los fundamentos de los modelos de lenguaje grandes
• Desarrolladores que construyen aplicaciones basadas en LLM

Características Únicas

1. Aprendizaje Visual: Cada capítulo presenta un tema animal único para hacer que los conceptos sean más memorables y atractivos
2. Impulsado por la Comunidad: Abierto a problemas y comentarios de la comunidad
3. Actualizaciones Regulares: Las actualizaciones mensuales aseguran que el contenido permanezca actual
4. Listas de Artículos Integrales: Cada capítulo incluye artículos de investigación seleccionados
5. Gratuito y Abierto: Completamente de código abierto y de acceso gratuito
6. Soporte Bilingüe: Disponible tanto en chino como en inglés

Rigor Académico

El contenido se basa en la exploración y comprensión del equipo de autores de las direcciones de investigación relevantes. El equipo agradece activamente las correcciones y sugerencias a través de los problemas de GitHub, lo que garantiza una mejora y precisión continuas.

Información de Contacto

Para preguntas o sugerencias relacionadas con el libro de texto:

• Correo electrónico: xuwenyi@zju.edu.cn
• Problemas de GitHub: Envíe comentarios y sugerencias directamente en el repositorio

Por Qué Este Recurso Es Importante

Los Modelos de Lenguaje Grandes se han convertido en uno de los avances tecnológicos más revolucionarios en la inteligencia artificial. Este libro de texto proporciona:

• Fundamento Sistemático: Construya la comprensión desde los modelos tradicionales hasta los LLM modernos
• Técnicas Prácticas: Aprenda métodos prácticos para trabajar con LLMs
• Conexiones de Investigación: Manténgase conectado con las últimas investigaciones a través de listas de artículos
• Aprendizaje Progresivo: Pase de conceptos básicos a técnicas avanzadas

Reconocimiento de la Comunidad

Con más de 11,400 estrellas en GitHub, este proyecto ha ganado un reconocimiento significativo en la comunidad de IA/ML como un valioso recurso educativo para comprender los Modelos de Lenguaje Grandes.