Home
Login
mistralai/mistral-inference

Biblioteca de inferencia oficial del modelo Mistral, que contiene la implementación de código minimizada para ejecutar modelos de Mistral AI.

Apache-2.0Jupyter Notebook 10.3kmistralai Last Updated: 2025-03-20
https://github.com/mistralai/mistral-inference

Introducción Detallada a la Biblioteca de Inferencia de Mistral (mistral-inference)

Resumen del Proyecto

mistral-inference es la biblioteca de inferencia de modelos Mistral desarrollada oficialmente por Mistral AI, que proporciona una implementación de código minimizada para ejecutar varios modelos Mistral. Este proyecto ofrece a los usuarios una forma eficiente y concisa de implementar y utilizar la serie de modelos de lenguaje grandes de Mistral.

Modelos de la Serie Compatibles

Modelos Base

  • Mistral 7B: Versiones base e instruidas, compatible con llamadas a funciones
  • Mixtral 8x7B: Modelo de mezcla de expertos, inferencia de alto rendimiento
  • Mixtral 8x22B: Modelo de mezcla de expertos a mayor escala
  • Mistral Nemo 12B: Modelo eficiente de escala media
  • Mistral Large 2: El modelo a gran escala más reciente
  • Mistral Small 3.1 24B: Modelo de escala media compatible con multimodalidad

Modelos Dedicados

  • Codestral 22B: Especialmente diseñado para la generación de código y tareas de programación
  • Codestral Mamba 7B: Modelo de código basado en la arquitectura Mamba
  • Mathstral 7B: Modelo especializado para el razonamiento matemático
  • Pixtral 12B: Modelo multimodal de lenguaje visual

Características y Funcionalidades Principales

1. Múltiples Modos de Inferencia

  • Interfaz de Línea de Comandos (CLI): Prueba e interactúa rápidamente a través de los comandos mistral-demo y mistral-chat
  • API de Python: Interfaz de programación completa, compatible con la integración personalizada
  • Soporte Multi-GPU: Soporte para inferencia distribuida de modelos grandes a través de torchrun

2. Amplios Escenarios de Aplicación

Seguimiento de Instrucciones (Instruction Following)

from mistral_inference.transformer import Transformer
from mistral_inference.generate import generate
from mistral_common.tokens.tokenizers.mistral import MistralTokenizer
from mistral_common.protocol.instruct.messages import UserMessage
from mistral_common.protocol.instruct.request import ChatCompletionRequest

# Cargar el modelo y el tokenizador
tokenizer = MistralTokenizer.from_file("./mistral-nemo-instruct-v0.1/tekken.json")
model = Transformer.from_folder("./mistral-nemo-instruct-v0.1")

# Generar la respuesta
prompt = "How expensive would it be to ask a window cleaner to clean all windows in Paris?"
completion_request = ChatCompletionRequest(messages=[UserMessage(content=prompt)])
tokens = tokenizer.encode_chat_completion(completion_request).tokens
out_tokens, _ = generate([tokens], model, max_tokens=1024, temperature=0.35)

Inferencia Multimodal

Soporte para la inferencia conjunta de imágenes y texto, puede analizar el contenido de la imagen y responder preguntas relacionadas:

# Procesamiento de contenido multimodal
user_content = [ImageURLChunk(image_url=url), TextChunk(text=prompt)]
tokens, images = tokenizer.instruct_tokenizer.encode_user_content(user_content, False)
out_tokens, _ = generate([tokens], model, images=[images], max_tokens=256)

Llamadas a Funciones (Function Calling)

Todos los modelos admiten la función de llamada a funciones, que se puede integrar con herramientas y API externas:

# Definir funciones de herramientas
tools=[Tool(function=Function(
    name="get_current_weather",
    description="Get the current weather",
    parameters={...}
))]

# Ejecutar la llamada a la función
completion_request = ChatCompletionRequest(tools=tools, messages=[...])

Finalización de Código (Fill-in-the-middle)

Especialmente diseñado para escenarios de edición de código, admite la generación de código de relleno intermedio:

prefix = "def add("
suffix = " return sum"
request = FIMRequest(prompt=prefix, suffix=suffix)
tokens = tokenizer.encode_fim(request).tokens

3. Opciones de Implementación Flexibles

Implementación Local

  • Implementación en una sola GPU: Adecuado para modelos más pequeños (7B, 12B)
  • Implementación Multi-GPU: Soporte para la inferencia distribuida de modelos grandes (8x7B, 8x22B)
  • Contenedorización Docker: Proporciona imágenes Docker integradas con vLLM

Implementación en la Nube

  • API Oficial de Mistral AI: Servicio en la nube La Plateforme
  • Proveedores de Servicios en la Nube: Soporte para múltiples plataformas de nube principales

Instalación y Configuración

Requisitos del Sistema

  • Soporte de GPU: Requiere un entorno de GPU, ya que depende de la biblioteca xformers
  • Entorno Python: Soporta versiones modernas de Python
  • Espacio de Almacenamiento: Requiere suficiente espacio en disco según el tamaño del modelo

Métodos de Instalación

Instalación a través de pip

pip install mistral-inference

Instalación desde el código fuente

cd $HOME && git clone https://github.com/mistralai/mistral-inference
cd $HOME/mistral-inference && poetry install .

Descarga y Configuración del Modelo

# Crear el directorio de almacenamiento del modelo
export MISTRAL_MODEL=$HOME/mistral_models
mkdir -p $MISTRAL_MODEL

# Descargar el modelo (tomando Mistral Nemo como ejemplo)
export 12B_DIR=$MISTRAL_MODEL/12B_Nemo
wget https://models.mistralcdn.com/mistral-nemo-2407/mistral-nemo-instruct-2407.tar
mkdir -p $12B_DIR
tar -xf mistral-nemo-instruct-2407.tar -C $12B_DIR

Ejemplos de Uso

Interacción Básica de Chat

# Modelo de una sola GPU
mistral-chat $12B_DIR --instruct --max_tokens 1024 --temperature 0.35

# Modelo grande multi-GPU
torchrun --nproc-per-node 2 --no-python mistral-chat $M8x7B_DIR --instruct

Uso de Modelos Dedicados

Asistente de Código Codestral

mistral-chat $M22B_CODESTRAL --instruct --max_tokens 256

Puede manejar solicitudes de programación como "Write me a function that computes fibonacci in Rust".

Razonamiento Matemático Mathstral

mistral-chat $7B_MATHSTRAL --instruct --max_tokens 256

Capaz de resolver problemas complejos de cálculo matemático.

Licencia y Cumplimiento

Licencias de Diferentes Modelos

  • Modelos de Código Abierto: La mayoría de los modelos base utilizan licencias de código abierto
  • Codestral 22B: Utiliza la licencia Mistral AI Non-Production (MNPL), solo para uso no comercial
  • Mistral Large: Utiliza la licencia Mistral AI Research (MRL), principalmente para fines de investigación

Recomendaciones de Cumplimiento

Cuando se utiliza en un entorno comercial, revise cuidadosamente los términos de la licencia del modelo correspondiente para garantizar un uso conforme.

Ventajas Técnicas

Optimización del Rendimiento

  • Inferencia Eficiente: Optimizado específicamente para la arquitectura del modelo Mistral
  • Gestión de Memoria: Estrategias inteligentes de uso de memoria, soporte para la inferencia de modelos grandes
  • Procesamiento Paralelo: Soporte para paralelismo multi-GPU, mejora la velocidad de inferencia

Facilidad de Uso

  • API Concisa: Proporciona una interfaz Python simple e intuitiva
  • Documentación Rica: Soporte completo de ejemplos de uso y documentación
  • Soporte de la Comunidad: Comunidad de desarrolladores activa y canal de Discord

Escalabilidad

  • Diseño Modular: Fácil de integrar en proyectos existentes
  • Configuración Personalizada: Soporte para la configuración flexible de varios parámetros de inferencia
  • Integración de Herramientas: Soporte para la integración con varias herramientas y servicios externos

Escenarios de Aplicación

Aplicaciones Empresariales

  • Atención al Cliente Inteligente: Construir sistemas de diálogo de alta calidad
  • Generación de Contenido: Creación y edición automatizada de contenido
  • Asistencia de Código: Generación y revisión de código en entornos de desarrollo

Investigación y Desarrollo

  • Investigación Académica: Investigación y experimentación de modelos de lenguaje
  • Desarrollo de Prototipos: Construcción rápida de prototipos de aplicaciones de IA
  • Pruebas de Rendimiento: Evaluación y comparación del rendimiento del modelo

Personal y Educación

  • Asistente de Aprendizaje: Herramientas de aprendizaje y tutoría personalizadas
  • Escritura Creativa: Apoyo a la creación de contenido creativo
  • Aprendizaje Técnico: Apoyo al aprendizaje de conceptos de programación y técnicos

Resumen

La biblioteca de inferencia de Mistral es un marco de inferencia de modelos de lenguaje grandes potente y fácil de usar. No solo proporciona soporte completo para la serie de modelos Mistral, sino que también incluye una amplia gama de características y funcionalidades, desde la generación de texto básica hasta la inferencia multimodal avanzada y las llamadas a funciones. Ya sea para la implementación a nivel empresarial o para el uso en investigación personal, esta biblioteca puede proporcionar soluciones eficientes y confiables.