MindSearch - Open-Source KI-Multi-Agenten-Suchmaschinen-Framework

Projektübersicht

MindSearch ist ein Open-Source-Multi-Agenten-Websuchmaschinen-Framework, das auf großen Sprachmodellen (LLMs) basiert und darauf abzielt, die kognitiven Prozesse des Menschen bei der Websuche und Informationsintegration zu simulieren. Das Projekt wurde gemeinsam vom Shanghai AI Lab und der University of Science and Technology of China entwickelt und bietet ein Sucherlebnis, das mit Perplexity.ai Pro und SearchGPT vergleichbar ist.

Kernfunktionen

🤔 Beantwortet jede Frage

MindSearch löst durch Suchen alle Arten von Problemen, denen Sie im Leben begegnen, und kann komplexe Suchanfragen verarbeiten.

📚 Tiefgehende Wissenserforschung

MindSearch bietet durch das Durchsuchen Hunderter von Webseiten umfassendere und tiefere Antworten. Das System kann Informationen von über 300 Webseiten innerhalb von 3 Minuten parallel verarbeiten, was der Arbeitsleistung eines menschlichen Experten von 3 Stunden entspricht.

🔍 Transparenter Lösungspfad

MindSearch liefert vollständige Inhalte wie Denkpfade und Suchbegriffe, um die Glaubwürdigkeit und Nutzbarkeit der Antworten zu erhöhen.

💻 Verschiedene Benutzeroberflächen

Bietet Benutzern verschiedene Schnittstellen, darunter React, Gradio, Streamlit und lokales Debugging.

🧠 Dynamischer Graph-Erstellungsprozess

MindSearch zerlegt Benutzeranfragen in Unterproblemknoten innerhalb eines Graphen und erweitert den Graphen schrittweise basierend auf den Suchergebnissen des WebSearchers.

Technische Architektur

Kernkomponenten

MindSearch verwendet eine Multi-Agenten-Architektur, die aus zwei Hauptkomponenten besteht: WebPlanner und WebSearcher.

WebPlanner (Web-Planer)

• Als übergeordneter Planer koordiniert er die Denk-/Schlussfolgerungsschritte und mehrere WebSearcher.
• Zerlegt komplexe Benutzeranfragen in atomare Unterprobleme als Knoten im Graphen.
• Erweitert den Graphen schrittweise basierend auf den Suchergebnissen des WebSearchers.
• Konzentriert sich auf die Abfragezerlegung und -analyse, ungestört von langen Suchergebnissen.

WebSearcher (Web-Sucher)

• Führt fein granulierte Websuchen durch und fasst wertvolle Informationen für den Planer zusammen.
• Führt hierarchische Informationsbeschaffung durch und bearbeitet jedes Unterproblem.
• Umfasst 4 Hauptschritte: Abfrageumschreibung, Aggregation von Suchinhalten, Auswahl detaillierter Seiten und endgültige Zusammenfassung.

Arbeitsablauf

1. Abfragezerlegung: Der WebPlanner zerlegt komplexe Anfragen in mehrere Unteranfragen.
2. Parallele Suche: Mehrere WebSearcher verarbeiten verschiedene Unteranfragen parallel.
3. Informationsintegration: Der WebPlanner sammelt und integriert die Ergebnisse der einzelnen WebSearcher.
4. Dynamische Erweiterung: Der Suchgraph wird basierend auf den Suchergebnissen dynamisch angepasst und erweitert.

Technische Umsetzung

Unterstützte Modelle

• Open-Source-Modelle: InternLM2.5-7b-chat (speziell optimiert)
• Proprietäre Modelle: GPT-4, Claude u.a.
• Bereitstellungsmethoden: Unterstützt verschiedene Bereitstellungsmethoden wie lokale Server, Clients und HuggingFace.

Unterstützte Suchmaschinen

• DuckDuckGo Search (kein API-Schlüssel erforderlich)
• Bing Search
• Brave Search
• Google Serper
• Tencent Search

Frontend-Oberflächen

• React: Moderne Weboberfläche
• Gradio: Einfach zu bedienende Python-Oberfläche
• Streamlit: Datenwissenschaftsfreundliche Oberfläche
• Terminal: Kommandozeilenoberfläche

Installation und Nutzung

Grundlegende Installation

git clone https://github.com/InternLM/MindSearch
cd MindSearch
pip install -r requirements.txt

Umgebungskonfiguration

mv .env.example .env
# .env-Datei bearbeiten, API-Schlüssel und Modellkonfiguration hinzufügen

Dienst starten

python -m mindsearch.app --lang cn --model_format internlm_server --search_engine DuckDuckGoSearch --asy

Parameterbeschreibung

• --lang: Modell-Sprache, cn für Chinesisch, en für Englisch
• --model_format: Modellformat, z.B. internlm_server, gpt4 u.a.
• --search_engine: Suchmaschinentyp
• --asy: Bereitstellung asynchroner Agenten

React-Frontend-Start

# Backend-URL konfigurieren
HOST="127.0.0.1"
PORT=8002
sed -i -r "s/target:\s*\"\"/target: \"${HOST}:${PORT}\"/" frontend/React/vite.config.ts

# Abhängigkeiten installieren
cd frontend/React
npm install
npm start

Docker-Bereitstellung

Das Projekt bietet das MSDL (MindSearch Docker Launcher) Tool, das den Docker-Bereitstellungsprozess vereinfacht:

cd MindSearch/docker
# Interaktives Konfigurationstool ausführen

Es werden zwei Bereitstellungsmethoden unterstützt: lokale Modelle und Cloud-Modelle, mit GPU-Beschleunigungsunterstützung.

Leistung

Benchmark-Ergebnisse

Die Leistung von ChatGPT-Web, Perplexity.ai (Pro) und MindSearch wird in Bezug auf Tiefe, Breite und Genauigkeit der generierten Antworten verglichen. Die Bewertung basiert auf 100 von menschlichen Experten sorgfältig entworfenen realen Problemen und wurde von 5 Experten bewertet.

Vorteile

• Effizienzsteigerung: Verarbeitung von über 300 Webseiten innerhalb von 3 Minuten, was der Arbeit eines menschlichen Experten von 3 Stunden entspricht.
• Qualitätsverbesserung: Deutliche Steigerung der Antwortqualität in Bezug auf Tiefe und Breite.
• Wettbewerbsfähigkeit: Die Antwortqualität von MindSearch, basierend auf InternLM2.5-7B, übertrifft die von ChatGPT-Web und Perplexity.ai.

Projekt-Highlights

Open-Source-Vorteile

• Vollständig Open Source: Der gesamte Code ist unter der Apache 2.0 Lizenz quelloffen.
• Community-gesteuert: Aktive GitHub-Community und kontinuierliche Updates.
• Anpassbarkeit: Flexible Konfiguration für verschiedene Modelle und Suchmaschinen wird unterstützt.

Technische Innovation

• Multi-Agenten-Zusammenarbeit: Innovative WebPlanner+WebSearcher-Architektur.
• Dynamischer Graphaufbau: Eine Graphaufbaumethode, die menschliche kognitive Prozesse simuliert.
• Parallele Verarbeitung: Effiziente parallele Informationsbeschaffung und -integration.
• Kontextverwaltung: Intelligenter Mechanismus zur Verwaltung langer Kontexte.

Verwandte Projekte

MindSearch ist ein wichtiger Bestandteil des InternLM-Ökosystems und arbeitet synergetisch mit den folgenden Projekten zusammen:

• Lagent: Leichtgewichtiges LLM-Agenten-Framework
• AgentLego: Vielseitige Tool-API-Bibliothek
• InternLM2.5: Optimiertes großes Sprachmodell
• LMDeploy: Modell-Bereitstellungstoolkit

Zusammenfassung

MindSearch stellt einen bedeutenden Durchbruch im Bereich der KI-Suchmaschinen dar. Durch die Simulation menschlicher kognitiver Prozesse ermöglicht es eine effiziente und präzise Websuche und Informationsintegration. Seine Open-Source-Natur und hervorragende Leistung machen es zur idealen Wahl für den Aufbau benutzerdefinierter KI-Suchmaschinen.