基于大语言模型的多智能体网络搜索引擎框架,模拟人类思維過程实现深度AI搜索

Apache-2.0JavaScriptMindSearchInternLM 6.5k Last Updated: July 04, 2025

MindSearch - 开源AI多智能体搜索引擎框架

项目概述

MindSearch是一个开源的基于大语言模型(LLM)的多智能体网络搜索引擎框架,旨在模拟人类在网络信息搜索和整合过程中的认知过程。该项目由上海人工智能实验室和中国科学技术大学共同开发,提供了与Perplexity.ai Pro和SearchGPT相媲美的搜索体验。

核心特性

🤔 解答任何问题

MindSearch通过搜索解决你在生活中遇到的各种问题,能够处理复杂的查询需求。

📚 深度知识探索

MindSearch通过数百网页的浏览,提供更广泛、深层次的答案。系统能够在3分钟内并行处理300+网页的信息,相当于人类专家3小时的工作量。

🔍 透明的解决方案路径

MindSearch提供了思考路径、搜索关键词等完整的内容,提高回复的可信度和可用性。

💻 多种用户界面

为用户提供各种接口,包括React、Gradio、Streamlit和本地调试。

🧠 动态图构建过程

MindSearch将用户查询分解为图中的子问题节点,并根据WebSearcher的搜索结果逐步扩展图。

技术架构

核心组件

MindSearch采用多智能体架构,由两个主要组件构成:WebPlanner和WebSearcher。

WebPlanner(网络规划器)

  • 作为高级规划器,协调推理步骤和多个WebSearcher
  • 将复杂的用户查询分解为原子级子问题作为图中的节点
  • 基于WebSearcher的搜索结果逐步扩展图
  • 专注于查询分解和分析,不受冗长搜索结果的干扰

WebSearcher(网络搜索器)

  • 执行细粒度的网络搜索并将有价值的信息总结回规划器
  • 执行层次化信息检索,处理每个子问题
  • 包含4个主要步骤:查询重写、搜索内容聚合、详细页面选择和最终总结

工作流程

  1. 查询分解:WebPlanner将复杂查询分解为多个子查询
  2. 并行搜索:多个WebSearcher并行处理不同的子查询
  3. 信息整合:WebPlanner收集和整合来自各个WebSearcher的结果
  4. 动态扩展:根据搜索结果动态调整和扩展搜索图

技术实现

支持的模型

  • 开源模型:InternLM2.5-7b-chat(经过专门优化)
  • 闭源模型:GPT-4、Claude等
  • 部署方式:支持本地服务器、客户端和HuggingFace等多种部署方式

支持的搜索引擎

  • DuckDuckGo Search(无需API密钥)
  • Bing Search
  • Brave Search
  • Google Serper
  • Tencent Search

前端界面

  • React:现代化的Web界面
  • Gradio:简单易用的Python界面
  • Streamlit:数据科学友好的界面
  • Terminal:命令行界面

安装和使用

基础安装

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

环境配置

mv .env.example .env
# 编辑.env文件,添加API密钥和模型配置

启动服务

python -m mindsearch.app --lang cn --model_format internlm_server --search_engine DuckDuckGoSearch --asy

参数说明

  • --lang:模型语言,cn为中文,en为英文
  • --model_format:模型格式,如internlm_servergpt4
  • --search_engine:搜索引擎类型
  • --asy:部署异步智能体

React前端启动

# 配置后端URL
HOST="127.0.0.1"
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

# 安装依赖
cd frontend/React
npm install
npm start

Docker部署

项目提供了MSDL(MindSearch Docker Launcher)工具,简化Docker部署过程:

cd MindSearch/docker
# 运行交互式配置工具

支持本地模型和云端模型两种部署方式,提供GPU加速支持。

性能表现

基准测试结果

在深度、广度和生成响应的准确性三个方面,对ChatGPT-Web、Perplexity.ai(Pro)和MindSearch的表现进行比较。评估结果基于100个由人类专家精心设计的现实问题,并由5位专家进行评分。

优势特点

  • 效率提升:3分钟内处理300+网页,相当于人类专家3小时的工作
  • 质量提升:在深度和广度方面显著提升响应质量
  • 竞争力:基于InternLM2.5-7B的MindSearch响应质量优于ChatGPT-Web和Perplexity.ai

项目特色

开源优势

  • 完全开源:所有代码在Apache 2.0许可证下开源
  • 社区驱动:活跃的GitHub社区和持续更新
  • 可定制性:支持多种模型和搜索引擎的灵活配置

技术创新

  • 多智能体协作:创新的WebPlanner+WebSearcher架构
  • 动态图构建:模拟人类认知过程的图构建方法
  • 并行处理:高效的并行信息检索和整合
  • 上下文管理:智能的长上下文管理机制

相关项目

MindSearch是InternLM生态系统的重要组成部分,与以下项目协同工作:

  • Lagent:轻量级LLM智能体框架
  • AgentLego:多功能工具API库
  • InternLM2.5:优化的大语言模型
  • LMDeploy:模型部署工具包

总结

MindSearch代表了AI搜索引擎领域的重要突破,通过模拟人类认知过程,实现了高效、准确的网络信息搜索和整合。其开源特性和优秀性能使其成为构建自定义AI搜索引擎的理想选择。

Star History Chart