基於大語言模型的多智能體網路搜尋引擎框架,模擬人類思維過程實現深度AI搜尋

Apache-2.0JavaScriptMindSearchInternLM 6.5k Last Updated: July 04, 2025

MindSearch - 開源AI多智能體搜尋引擎框架

專案概述

MindSearch是一個開源的基於大語言模型(LLM)的多智能體網路搜尋引擎框架,旨在模擬人類在網路資訊搜尋和整合過程中的認知過程。該專案由上海人工智慧實驗室和中國科學技術大學共同開發,提供了與Perplexity.ai Pro和SearchGPT相媲美的搜尋體驗。

核心特性

🤔 解答任何問題

MindSearch透過搜尋解決你在生活中遇到的各種問題,能夠處理複雜的查詢需求。

📚 深度知識探索

MindSearch透過數百網頁的瀏覽,提供更廣泛、深層次的答案。系統能夠在3分鐘內平行處理300+網頁的資訊,相當於人類專家3小時的工作量。

🔍 透明的解決方案路徑

MindSearch提供了思考路徑、搜尋關鍵字等完整的內容,提高回覆的可信度和可用性。

💻 多種使用者介面

為使用者提供各種介面,包括React、Gradio、Streamlit和本地除錯。

🧠 動態圖建構過程

MindSearch將使用者查詢分解為圖中的子問題節點,並根據WebSearcher的搜尋結果逐步擴展圖。

技術架構

核心元件

MindSearch採用多智能體架構,由兩個主要元件構成:WebPlanner和WebSearcher。

WebPlanner(網路規劃器)

  • 作為高級規劃器,協調推論步驟和多個WebSearcher
  • 將複雜的使用者查詢分解為原子級子問題作為圖中的節點
  • 基於WebSearcher的搜尋結果逐步擴展圖
  • 專注於查詢分解和分析,不受冗長搜尋結果的干擾

WebSearcher(網路搜尋器)

  • 執行細粒度的網路搜尋並將有價值的資訊總結回規劃器
  • 執行層次化資訊檢索,處理每個子問題
  • 包含4個主要步驟:查詢重寫、搜尋內容聚合、詳細頁面選擇和最終總結

工作流程

  1. 查詢分解:WebPlanner將複雜查詢分解為多個子查詢
  2. 平行搜尋:多個WebSearcher平行處理不同的子查詢
  3. 資訊整合:WebPlanner收集和整合來自各個WebSearcher的結果
  4. 動態擴展:根據搜尋結果動態調整和擴展搜尋圖

技術實現

支援的模型

  • 開源模型:InternLM2.5-7b-chat(經過專門優化)
  • 閉源模型:GPT-4、Claude等
  • 部署方式:支援本地伺服器、客戶端和HuggingFace等多種部署方式

支援的搜尋引擎

  • DuckDuckGo Search(無需API金鑰)
  • Bing Search
  • Brave Search
  • Google Serper
  • Tencent Search

前端介面

  • React:現代化的Web介面
  • Gradio:簡單易用的Python介面
  • Streamlit:資料科學友善的介面
  • Terminal:命令列介面

安裝和使用

基礎安裝

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

環境配置

mv .env.example .env
# 編輯.env文件,添加API金鑰和模型配置

啟動服務

python -m mindsearch.app --lang cn --model_format internlm_server --search_engine DuckDuckGoSearch --asy

參數說明

  • --lang:模型語言,cn為中文,en為英文
  • --model_format:模型格式,如internlm_servergpt4
  • --search_engine:搜尋引擎類型
  • --asy:部署非同步智能體

React前端啟動

# 配置後端URL
HOST="127.0.0.1"
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

# 安裝依賴
cd frontend/React
npm install
npm start

Docker部署

專案提供了MSDL(MindSearch Docker Launcher)工具,簡化Docker部署過程:

cd MindSearch/docker
# 執行互動式配置工具

支援本地模型和雲端模型兩種部署方式,提供GPU加速支援。

效能表現

基準測試結果

在深度、廣度和生成回應的準確性三個方面,對ChatGPT-Web、Perplexity.ai(Pro)和MindSearch的表現進行比較。評估結果基於100個由人類專家精心設計的現實問題,並由5位專家進行評分。

優勢特點

  • 效率提升:3分鐘內處理300+網頁,相當於人類專家3小時的工作
  • 品質提升:在深度和廣度方面顯著提升回應品質
  • 競爭力:基於InternLM2.5-7B的MindSearch回應品質優於ChatGPT-Web和Perplexity.ai

專案特色

開源優勢

  • 完全開源:所有程式碼在Apache 2.0許可證下開源
  • 社群驅動:活躍的GitHub社群和持續更新
  • 可客製化:支援多種模型和搜尋引擎的靈活配置

技術創新

  • 多智能體協作:創新的WebPlanner+WebSearcher架構
  • 動態圖建構:模擬人類認知過程的圖建構方法
  • 平行處理:高效的平行資訊檢索和整合
  • 上下文管理:智能的長上下文管理機制

相關專案

MindSearch是InternLM生態系統的重要組成部分,與以下專案協同工作:

  • Lagent:輕量級LLM智能體框架
  • AgentLego:多功能工具API庫
  • InternLM2.5:優化的大語言模型
  • LMDeploy:模型部署工具包

總結

MindSearch代表了AI搜尋引擎領域的重要突破,透過模擬人類認知過程,實現了高效、準確的網路資訊搜尋和整合。其開源特性和優秀效能使其成為建構自訂AI搜尋引擎的理想選擇。

Star History Chart