DeerFlow - Automatisierungsframework für Tiefenstudien

Projektübersicht

DeerFlow (Deep Exploration and Efficient Research Flow) ist ein von der Community getriebenes Open-Source-Framework für Tiefenstudien, das von ByteDance entwickelt wurde. Das Projekt baut auf den herausragenden Arbeiten der Open-Source-Community auf und zielt darauf ab, große Sprachmodelle mit professionellen Tools zu kombinieren, darunter Websuche, Web-Crawling und Python-Codeausführung, und gleichzeitig der Open-Source-Community etwas zurückzugeben.

Projektadresse: https://github.com/bytedance/deer-flow

Kernfunktionen

🤖 LLM-Integration

• Unterstützung der Integration der meisten Modelle über litellm
• Unterstützung von Open-Source-Modellen wie Qwen
• OpenAI-kompatible API-Schnittstelle
• Mehrschichtiges LLM-System für unterschiedliche Aufgabenkomplexität

🔍 Suche und Abruf

• Websuche über Tavily, Brave Search usw.
• Web-Crawling mit Jina
• Erweiterte Funktionen zur Inhaltsentnahme

🔗 Nahtlose MCP-Integration

• Erweiterung des Zugriffs auf private Domänen, Wissensgraphen, Web-Browsing usw.
• Förderung der Integration verschiedener Forschungswerkzeuge und -methoden

🧠 Mensch-Maschine-Interaktionsschleife

• Unterstützung der interaktiven Änderung von Forschungsplänen in natürlicher Sprache
• Unterstützung der automatischen Annahme von Forschungsplänen

📝 Berichtsnachbearbeitung

• Unterstützung der Blockbearbeitung ähnlich wie bei Notion
• Ermöglicht KI-Verfeinerung, einschließlich KI-gestützter Politur, Satzverkürzung und -erweiterung
• Basiert auf tiptap

🎙️ Podcast- und Präsentationserstellung

• KI-gestützte Podcast-Skriptgenerierung und Audiosynthese
• Automatische Erstellung einfacher PowerPoint-Präsentationen
• Anpassbare Vorlagen für personalisierte Inhalte

Technische Architektur

DeerFlow implementiert eine modulare Multi-Agenten-Systemarchitektur, die speziell für automatisierte Forschung und Codeanalyse entwickelt wurde. Das System basiert auf LangGraph und ermöglicht flexible, zustandsbasierte Workflows durch ein klar definiertes Nachrichtenübertragungssystem, in dem Komponenten miteinander kommunizieren.

Workflow-Komponenten

Das System verwendet einen vereinfachten Workflow, der die folgenden Komponenten umfasst:

Koordinator (Coordinator)

• Einstiegspunkt für die Verwaltung des Workflow-Lebenszyklus
• Startet den Forschungsprozess basierend auf der Benutzereingabe
• Delegiert Aufgaben bei Bedarf an den Planer
• Fungiert als Hauptschnittstelle zwischen Benutzer und System

Planer (Planner)

• Strategische Komponente für Aufgabenzerlegung und -planung
• Analysiert Forschungsziele und erstellt strukturierte Ausführungspläne
• Ermittelt, ob genügend Kontext vorhanden ist oder weitere Forschung erforderlich ist
• Verwaltet den Forschungsprozess und entscheidet, wann ein Abschlussbericht erstellt werden soll

Forschungsteam (Research Team)

Eine Sammlung spezialisierter Agenten zur Ausführung von Plänen:

• Forscher (Researcher): Führt Websuchen und Informationsbeschaffung mit Tools wie Websuchmaschinen, Web-Crawlern und sogar MCP-Diensten durch
• Programmierer (Coder): Verwendet Python REPL-Tools zur Verarbeitung von Codeanalyse, -ausführung und technischen Aufgaben

Jeder Agent hat Zugriff auf bestimmte Tools, die für seine Rolle optimiert sind, und wird innerhalb des LangGraph-Frameworks ausgeführt.

Berichterstatter (Reporter)

• Endphasenprozessor für Forschungsergebnisse
• Fasst die Ergebnisse des Forschungsteams zusammen
• Verarbeitet und strukturiert die gesammelten Informationen
• Erstellt einen umfassenden Forschungsbericht

Installation und Schnellstart

Systemanforderungen

• Python 3.12+
• Node.js (für Web UI)
• Empfohlen werden uv, nvm und pnpm

Installationsschritte

# Klonen des Repository
git clone https://github.com/bytedance/deer-flow.git
cd deer-flow

# Installation der Abhängigkeiten, uv verarbeitet die Python-Interpreter- und Virtual Environment-Erstellung und installiert die erforderlichen Pakete
uv sync

# Konfiguration der Umgebungsvariablen
cp .env.example .env
# Konfigurieren Sie Ihre API-Schlüssel:
# - Tavily: https://app.tavily.com/home
# - Brave Search: https://brave.com/search/api/
# - volcengine TTS: Fügen Sie ggf. Ihre TTS-Anmeldeinformationen hinzu

# Konfiguration des LLM-Modells und der API-Schlüssel
cp conf.yaml.example conf.yaml

# Installation von marp zur PPT-Generierung
brew install marp-cli

Ausführen des Projekts

Konsolen-UI (schnellste Methode)

uv run main.py

Web UI

# Zuerst Installation der Web UI-Abhängigkeiten
cd deer-flow/web
pnpm install

# Ausführen des Backends und des Frontends (Entwicklungsmodus)
# macOS/Linux
./bootstrap.sh -d

# Windows
bootstrap.bat -d

Anschließend Zugriff auf http://localhost:3000 zur Nutzung der Web UI.

Unterstützte Suchmaschinen

DeerFlow unterstützt verschiedene Suchmaschinen, die in der Datei .env mit der Variablen SEARCH_API konfiguriert werden können:

• Tavily (Standard): Such-API speziell für KI-Anwendungen
• DuckDuckGo: Suchmaschine mit Fokus auf Datenschutz, keine API-Schlüssel erforderlich
• Brave Search: Suchmaschine mit Fokus auf Datenschutz und erweiterten Funktionen
• Arxiv: Speziell für die wissenschaftliche Forschung entwickelte Suchmaschine für wissenschaftliche Arbeiten

Konfigurationsbeispiel:

# Wählen Sie eine aus: tavily, duckduckgo, brave_search, arxiv
SEARCH_API=tavily

Text-to-Speech-Integration

DeerFlow enthält eine Text-to-Speech (TTS)-Funktion, mit der Sie Forschungsberichte in Sprache umwandeln können. Diese Funktion verwendet die volcengine TTS API, um qualitativ hochwertige Audiodaten zu generieren, und unterstützt die Anpassung von Geschwindigkeit, Lautstärke und Tonhöhe.

API-Aufrufbeispiel

curl --location 'http://localhost:8000/api/tts' \
--header 'Content-Type: application/json' \
--data '{
"text": "Dies ist ein Test der Text-to-Speech-Funktion.",
"speed_ratio": 1.0,
"volume_ratio": 1.0,
"pitch_ratio": 1.0
}' \
--output speech.mp3

Entwicklung und Debugging

Ausführen von Tests

# Ausführen aller Tests
make test

# Ausführen einer bestimmten Testdatei
pytest tests/integration/test_workflow.py

# Ausführen von Coverage-Tests
make coverage

# Ausführen von Code-Checks
make lint

# Formatieren des Codes
make format

LangGraph Studio Debugging

DeerFlow verwendet LangGraph als seine Workflow-Architektur. Sie können LangGraph Studio verwenden, um Workflows in Echtzeit zu debuggen und zu visualisieren.

# Installation des uv-Paketmanagers (falls nicht vorhanden)
curl -LsSf https://astral.sh/uv/install.sh | sh

# Installation der Abhängigkeiten und Starten des LangGraph-Servers
uvx --refresh --from "langgraph-cli[inmem]" --with-editable . --python 3.12 langgraph dev --allow-blocking

Nach dem Start des Servers können Sie auf Folgendes zugreifen:

• API: http://127.0.0.1:2024
• Studio UI: https://smith.langchain.com/studio/?baseUrl=http://127.0.0.1:2024
• API-Dokumentation: http://127.0.0.1:2024/docs

Anwendungsbeispiele

Kommandozeilenparameter

# Ausführen einer bestimmten Abfrage
uv run main.py "Welche Faktoren beeinflussen die Einführung von KI im Gesundheitswesen?"

# Ausführen mit benutzerdefinierten Planparametern
uv run main.py --max_plan_iterations 3 "Wie beeinflusst Quantencomputing die Kryptographie?"

# Ausführen im interaktiven Modus
uv run main.py --interactive

# Anzeigen aller verfügbaren Optionen
uv run main.py --help

Mensch-Maschine-Interaktionsschleife

DeerFlow enthält einen Mensch-Maschine-Interaktionsmechanismus, mit dem Sie Forschungspläne vor der Ausführung überprüfen, bearbeiten und genehmigen können:

1. Planüberprüfung: Wenn die Mensch-Maschine-Interaktion aktiviert ist, zeigt das System den generierten Forschungsplan vor der Ausführung zur Überprüfung an
2. Feedback geben: Sie können:
   • Den Plan durch Antworten mit [ACCEPTED] akzeptieren
   • Den Plan durch Feedback bearbeiten (z. B.: [EDIT PLAN] Fügen Sie weitere Schritte zur technischen Implementierung hinzu)
3. Automatische Annahme: Sie können die automatische Annahme aktivieren, um den Überprüfungsprozess zu überspringen

Beispielberichte

Das Projekt enthält mehrere Beispielberichte, die die Funktionen von DeerFlow demonstrieren:

• OpenAI Sora Analysebericht
• Google's Agent-to-Agent Protocol Bericht
• MCP (Model Context Protocol) Umfassende Analyse
• Bitcoin Preisvolatilitätsanalyse
• Tiefgehende Erforschung großer Sprachmodelle
• Claude Tiefenstudien Best Practices
• Einflussfaktoren auf die Einführung von KI im Gesundheitswesen
• Auswirkungen des Quantencomputings auf die Kryptographie
• Cristiano Ronaldo Performance Highlights

Danksagung

DeerFlow baut auf den herausragenden Arbeiten der Open-Source-Community auf, insbesondere Dank an:

• LangChain: Bietet ein hervorragendes LLM-Interaktions- und Kettenframework
• LangGraph: Innovativer Ansatz zur Multi-Agenten-Orchestrierung

Diese Projekte veranschaulichen die transformative Kraft der Open-Source-Zusammenarbeit, und wir fühlen uns geehrt, DeerFlow auf ihrer Grundlage aufzubauen.