MindSearch - Marco de Motor de Búsqueda de IA Multiagente de Código Abierto

Resumen del Proyecto

MindSearch es un marco de motor de búsqueda web multiagente de código abierto basado en Grandes Modelos de Lenguaje (LLM), diseñado para simular los procesos cognitivos humanos en la búsqueda e integración de información en la web. Desarrollado conjuntamente por el Laboratorio de Inteligencia Artificial de Shanghái y la Universidad de Ciencia y Tecnología de China, este proyecto ofrece una experiencia de búsqueda comparable a la de Perplexity.ai Pro y SearchGPT.

Características Principales

🤔 Resuelve Cualquier Pregunta

MindSearch resuelve diversas preguntas que encuentres en tu vida a través de la búsqueda, siendo capaz de manejar consultas complejas.

📚 Exploración Profunda del Conocimiento

MindSearch proporciona respuestas más amplias y profundas al navegar por cientos de páginas web. El sistema puede procesar información de más de 300 páginas web en paralelo en 3 minutos, lo que equivale al trabajo de un experto humano durante 3 horas.

🔍 Ruta de Solución Transparente

MindSearch ofrece contenido completo, como la ruta de pensamiento y las palabras clave de búsqueda, mejorando la credibilidad y utilidad de las respuestas.

💻 Múltiples Interfaces de Usuario

Ofrece a los usuarios varias interfaces, incluyendo React, Gradio, Streamlit y depuración local.

🧠 Proceso de Construcción de Gráficos Dinámicos

MindSearch descompone las consultas del usuario en nodos de subproblemas dentro de un gráfico y expande el gráfico progresivamente basándose en los resultados de búsqueda de WebSearcher.

Arquitectura Técnica

Componentes Principales

MindSearch adopta una arquitectura multiagente, compuesta por dos componentes principales: WebPlanner y WebSearcher.

WebPlanner (Planificador Web)

• Actúa como un planificador de alto nivel, coordinando los pasos de razonamiento y múltiples WebSearchers.
• Descompone consultas de usuario complejas en subproblemas atómicos como nodos en un gráfico.
• Expande el gráfico progresivamente basándose en los resultados de búsqueda de WebSearcher.
• Se enfoca en la descomposición y análisis de consultas, sin ser interferido por resultados de búsqueda extensos.

WebSearcher (Buscador Web)

• Ejecuta búsquedas web de grano fino y resume la información valiosa para el planificador.
• Realiza una recuperación de información jerárquica, procesando cada subproblema.
• Incluye 4 pasos principales: reescritura de consulta, agregación de contenido de búsqueda, selección de página detallada y resumen final.

Flujo de Trabajo

1. Descomposición de la consulta: WebPlanner descompone consultas complejas en múltiples subconsultas.
2. Búsqueda paralela: Múltiples WebSearchers procesan diferentes subconsultas en paralelo.
3. Integración de información: WebPlanner recopila e integra los resultados de cada WebSearcher.
4. Expansión dinámica: Ajusta y expande dinámicamente el gráfico de búsqueda según los resultados de la búsqueda.

Implementación Técnica

Modelos Compatibles

• Modelos de código abierto: InternLM2.5-7b-chat (especialmente optimizado)
• Modelos de código cerrado: GPT-4, Claude, etc.
• Métodos de despliegue: Soporta múltiples métodos de despliegue como servidor local, cliente y HuggingFace.

Motores de Búsqueda Compatibles

• DuckDuckGo Search (no requiere clave API)
• Bing Search
• Brave Search
• Google Serper
• Tencent Search

Interfaces de Usuario Frontend

• React: Interfaz web modernizada
• Gradio: Interfaz Python sencilla de usar
• Streamlit: Interfaz amigable para la ciencia de datos
• Terminal: Interfaz de línea de comandos

Instalación y Uso

Instalación Básica

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

Configuración del Entorno

mv .env.example .env
# Edita el archivo .env, añade la clave API y la configuración del modelo

Inicio del Servicio

python -m mindsearch.app --lang cn --model_format internlm_server --search_engine DuckDuckGoSearch --asy

Descripción de Parámetros

• --lang: Idioma del modelo, cn para chino, en para inglés.
• --model_format: Formato del modelo, como internlm_server, gpt4, etc.
• --search_engine: Tipo de motor de búsqueda.
• --asy: Despliega agentes asíncronos.

Inicio del Frontend React

# Configura la URL del backend
HOST="127.0.0.1"
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

# Instala las dependencias
cd frontend/React
npm install
npm start

Despliegue con Docker

El proyecto proporciona la herramienta MSDL (MindSearch Docker Launcher) para simplificar el proceso de despliegue con Docker:

cd MindSearch/docker
# Ejecuta la herramienta de configuración interactiva

Soporta dos modos de despliegue: modelos locales y modelos en la nube, y ofrece soporte para aceleración por GPU.

Rendimiento

Resultados de Pruebas de Referencia (Benchmark)

Se compara el rendimiento de ChatGPT-Web, Perplexity.ai (Pro) y MindSearch en tres aspectos: profundidad, amplitud y precisión de las respuestas generadas. Los resultados de la evaluación se basan en 100 problemas reales cuidadosamente diseñados por expertos humanos y calificados por 5 expertos.

Características Ventajosas

• Mejora de la eficiencia: Procesa más de 300 páginas web en 3 minutos, equivalente al trabajo de un experto humano durante 3 horas.
• Mejora de la calidad: Aumenta significativamente la calidad de las respuestas en términos de profundidad y amplitud.
• Competitividad: La calidad de las respuestas de MindSearch, basado en InternLM2.5-7B, supera a la de ChatGPT-Web y Perplexity.ai.

Aspectos Destacados del Proyecto

Ventajas del Código Abierto

• Completamente de código abierto: Todo el código está disponible bajo la licencia Apache 2.0.
• Impulsado por la comunidad: Comunidad activa en GitHub y actualizaciones continuas.
• Personalizable: Soporte para configuración flexible de múltiples modelos y motores de búsqueda.

Innovación Técnica

• Colaboración multiagente: Arquitectura innovadora WebPlanner + WebSearcher.
• Construcción dinámica de gráficos: Método de construcción de gráficos que simula el proceso cognitivo humano.
• Procesamiento paralelo: Recuperación e integración de información paralela y eficiente.
• Gestión de contexto: Mecanismo inteligente de gestión de contexto largo.

Proyectos Relacionados

MindSearch es un componente importante del ecosistema InternLM y colabora con los siguientes proyectos:

• Lagent: Marco de agente LLM ligero.
• AgentLego: Biblioteca de API de herramientas multifuncionales.
• InternLM2.5: Modelo de lenguaje grande optimizado.
• LMDeploy: Kit de herramientas de despliegue de modelos.

Conclusión

MindSearch representa un avance significativo en el campo de los motores de búsqueda de IA, logrando una búsqueda e integración de información web eficiente y precisa al simular los procesos cognitivos humanos. Sus características de código abierto y su excelente rendimiento lo convierten en una opción ideal para construir motores de búsqueda de IA personalizados.