基於大語言模型的多智能體網路搜尋引擎框架,模擬人類思維過程實現深度AI搜尋
MindSearch - 開源AI多智能體搜尋引擎框架
專案概述
MindSearch是一個開源的基於大語言模型(LLM)的多智能體網路搜尋引擎框架,旨在模擬人類在網路資訊搜尋和整合過程中的認知過程。該專案由上海人工智慧實驗室和中國科學技術大學共同開發,提供了與Perplexity.ai Pro和SearchGPT相媲美的搜尋體驗。
核心特性
🤔 解答任何問題
MindSearch透過搜尋解決你在生活中遇到的各種問題,能夠處理複雜的查詢需求。
📚 深度知識探索
MindSearch透過數百網頁的瀏覽,提供更廣泛、深層次的答案。系統能夠在3分鐘內平行處理300+網頁的資訊,相當於人類專家3小時的工作量。
🔍 透明的解決方案路徑
MindSearch提供了思考路徑、搜尋關鍵字等完整的內容,提高回覆的可信度和可用性。
💻 多種使用者介面
為使用者提供各種介面,包括React、Gradio、Streamlit和本地除錯。
🧠 動態圖建構過程
MindSearch將使用者查詢分解為圖中的子問題節點,並根據WebSearcher的搜尋結果逐步擴展圖。
技術架構
核心元件
MindSearch採用多智能體架構,由兩個主要元件構成:WebPlanner和WebSearcher。
WebPlanner(網路規劃器)
- 作為高級規劃器,協調推論步驟和多個WebSearcher
- 將複雜的使用者查詢分解為原子級子問題作為圖中的節點
- 基於WebSearcher的搜尋結果逐步擴展圖
- 專注於查詢分解和分析,不受冗長搜尋結果的干擾
WebSearcher(網路搜尋器)
- 執行細粒度的網路搜尋並將有價值的資訊總結回規劃器
- 執行層次化資訊檢索,處理每個子問題
- 包含4個主要步驟:查詢重寫、搜尋內容聚合、詳細頁面選擇和最終總結
工作流程
- 查詢分解:WebPlanner將複雜查詢分解為多個子查詢
- 平行搜尋:多個WebSearcher平行處理不同的子查詢
- 資訊整合:WebPlanner收集和整合來自各個WebSearcher的結果
- 動態擴展:根據搜尋結果動態調整和擴展搜尋圖
技術實現
支援的模型
- 開源模型:InternLM2.5-7b-chat(經過專門優化)
- 閉源模型:GPT-4、Claude等
- 部署方式:支援本地伺服器、客戶端和HuggingFace等多種部署方式
支援的搜尋引擎
- DuckDuckGo Search(無需API金鑰)
- Bing Search
- Brave Search
- Google Serper
- Tencent Search
前端介面
- React:現代化的Web介面
- Gradio:簡單易用的Python介面
- Streamlit:資料科學友善的介面
- Terminal:命令列介面
安裝和使用
基礎安裝
git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt
環境配置
mv .env.example .env
# 編輯.env文件,添加API金鑰和模型配置
啟動服務
python -m mindsearch.app --lang cn --model_format internlm_server --search_engine DuckDuckGoSearch --asy
參數說明
--lang
:模型語言,cn
為中文,en
為英文--model_format
:模型格式,如internlm_server
、gpt4
等--search_engine
:搜尋引擎類型--asy
:部署非同步智能體
React前端啟動
# 配置後端URL
HOST="127.0.0.1"
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts
# 安裝依賴
cd frontend/React
npm install
npm start
Docker部署
專案提供了MSDL(MindSearch Docker Launcher)工具,簡化Docker部署過程:
cd MindSearch/docker
# 執行互動式配置工具
支援本地模型和雲端模型兩種部署方式,提供GPU加速支援。
效能表現
基準測試結果
在深度、廣度和生成回應的準確性三個方面,對ChatGPT-Web、Perplexity.ai(Pro)和MindSearch的表現進行比較。評估結果基於100個由人類專家精心設計的現實問題,並由5位專家進行評分。
優勢特點
- 效率提升:3分鐘內處理300+網頁,相當於人類專家3小時的工作
- 品質提升:在深度和廣度方面顯著提升回應品質
- 競爭力:基於InternLM2.5-7B的MindSearch回應品質優於ChatGPT-Web和Perplexity.ai
專案特色
開源優勢
- 完全開源:所有程式碼在Apache 2.0許可證下開源
- 社群驅動:活躍的GitHub社群和持續更新
- 可客製化:支援多種模型和搜尋引擎的靈活配置
技術創新
- 多智能體協作:創新的WebPlanner+WebSearcher架構
- 動態圖建構:模擬人類認知過程的圖建構方法
- 平行處理:高效的平行資訊檢索和整合
- 上下文管理:智能的長上下文管理機制
相關專案
MindSearch是InternLM生態系統的重要組成部分,與以下專案協同工作:
- Lagent:輕量級LLM智能體框架
- AgentLego:多功能工具API庫
- InternLM2.5:優化的大語言模型
- LMDeploy:模型部署工具包
總結
MindSearch代表了AI搜尋引擎領域的重要突破,透過模擬人類認知過程,實現了高效、準確的網路資訊搜尋和整合。其開源特性和優秀效能使其成為建構自訂AI搜尋引擎的理想選擇。