SillyTavern - Leistungsstarke Frontend-Plattform für LLMs

Projektübersicht

SillyTavern ist eine lokalisierte Frontend-Oberfläche für große Sprachmodelle (LLMs) für fortgeschrittene Benutzer. Es handelt sich um eine Benutzeroberfläche, die auf lokalen Computern (einschließlich Windows, macOS, Linux und Android-Smartphones) installiert werden kann und es den Benutzern ermöglicht, mit textgenerierenden KIs, Bildgenerierungsengines und Text-zu-Sprache-Modellen (TTS) zu interagieren.

• Projektadresse: https://github.com/SillyTavern/SillyTavern
• Offizielle Dokumentation: https://docs.sillytavern.app/
• Projektgeschichte: Entstand im Februar 2023 aus dem Branch TavernAI 1.2.8
• Entwicklungsstatus: Über 200 Mitwirkende, über 2 Jahre unabhängige Entwicklung
• Lizenz: AGPL-3.0 (Open Source und kostenlos)

Kernfunktionen

1. Unterstützung vieler Modell-APIs

SillyTavern bietet eine einheitliche Oberfläche für viele LLM-APIs:

• Kommerzielle APIs: OpenAI, Claude, Mistral, NovelAI, OpenRouter
• Open-Source-Backends: KoboldAI/CPP, Ooba, Tabby, Text Generation WebUI
• Verteilte Inferenz: AI Horde (kostenlos und sofort einsatzbereit)
• Unterstützung für weitere benutzerdefinierte APIs, die das OpenAI-Format unterstützen

2. Charakter-Kartensystem

• Charakterkarten (Character Cards) sind ein zentrales Konzept von SillyTavern
• Ähnlich wie GPTs bei ChatGPT oder Bots bei Poe
• Es können verschiedene Arten von Charakteren erstellt werden: abstrakte Szenarien, spezialisierte Assistenten, Promi-Charaktere, virtuelle Figuren
• Unterstützung für Import und Export von Standardv2-Charakterkarten
• Ein integrierter Standardcharakter Seraphina, weitere Charaktere können aus der Community heruntergeladen werden
• Enthält Funktionen wie Charakterdefinition, erste Nachricht, eingebettete Lorebooks usw.

3. Bildgenerierung

• Integration der Automatic1111 API
• Integration der ComfyUI API
• Echtzeit-Bildgenerierung in Gesprächen
• Unterstützung für Charakteremoticons und Avatare

4. Sprachfunktionen (TTS)

• Unterstützung für mehrere TTS-Engines
• Verschiedene Stimmen können für Charaktere konfiguriert werden
• Unterstützung für Echtzeit-Sprachsynthese

5. Reiche Gesprächskontrolle

• Visual Novel Mode (Visuelles Romanformat)
• WorldInfo/Lorebooks (Weltinformations-/Wissensdatensystem)
• Automatische Übersetzungsfunktion
• Vielzahl an Prompt-Optionen und benutzerdefinierten Fähigkeiten
• Mobilfreundliches responsives Layout
• Hochgradig anpassbares Benutzerinterface

6. Erweiterungssystem

Unbegrenzte Erweiterungsmöglichkeiten durch Drittanbieter-Erweiterungen:

• Character Expressions: Automatische Aktualisierung von Charakteremoticons (basierend auf Sentimentanalyse)
• Talkinghead: AI-gesteuerte Charakteranimationen
• Vector Storage: Vektor-Speicher und -Abruf
• Stable Diffusion: Bildgenerierung
• Weitere Erweiterungen können über das Menü "Download Extensions & Assets" heruntergeladen werden

Systemanforderungen

Mindestanforderungen

• Laufzeitumgebung: System, das Node.js 18 oder höher unterstützt
• Betriebssystem: Windows, macOS, Linux, Android (Termux)
• Hardwareanforderungen: Sehr gering, jedes Gerät, das Node.js ausführen kann, reicht aus

Empfohlene Konfiguration für lokale Inferenz (optional)

• Grafikkarte: NVIDIA 3000er Serie oder höher
• Grafikspeicher: Mindestens 6 GB VRAM
• Hinweis: Wenn nur Cloud-APIs verwendet werden, ist leistungsfähige Hardware nicht erforderlich

Installationsmethoden

Installation unter Windows

# Node.js installieren (empfohlen LTS-Version)
# Git for Windows installieren

# Release-Branch (stabil, empfohlen)
git clone https://github.com/SillyTavern/SillyTavern -b release

# Staging-Branch (Entwicklungsversion, neueste Funktionen)
git clone https://github.com/SillyTavern/SillyTavern -b staging

# Start-Skript ausführen
# Start.bat doppelklicken

Installation unter Linux/macOS

# Node.js 18+ installieren
# Git installieren

# Repository klonen
git clone https://github.com/SillyTavern/SillyTavern -b release
cd SillyTavern

# Abhängigkeiten installieren und starten
npm install
npm start

Docker-Installation

# Siehe offizielle Dokumentation
# https://docs.sillytavern.app/installation/docker/

Installation unter Android (Termux)

• Unterstützt die Ausführung auf Android-Smartphones über Termux
• Detaillierte Schritte siehe offizielle Dokumentation

Benutzerhandbuch

Schnellstart

1. Dienst starten: Führe Start.bat (Windows) oder das entsprechende Startskript aus
2. Oberfläche öffnen: Der Browser öffnet automatisch die SillyTavern-Oberfläche
3. API konfigurieren: Verbinde in den Einstellungen dein LLM-Backend (z.B. OpenAI, Claude oder AI Horde)
4. Charakter auswählen: Lade oder erstelle Charakterkarten
5. Gespräch beginnen: Gib in das Eingabefeld eine Nachricht ein, um zu chatten

Branch-Auswahl

• Release-Branch:

  • ⭐ Empfohlen für die meisten Benutzer
  • Am stabilsten, wird nur bei Hauptversionen aktualisiert
  • Normalerweise monatlich aktualisiert

• Staging-Branch:

  • ⚠️ Nur für fortgeschrittene Benutzer und Enthusiasten
  • Enthält die neuesten Funktionen, kann aber jederzeit Probleme haben
  • Mehrmals täglich aktualisiert

Erweiterungs-Ökosystem

SillyTavern-Extras

Erweiterungspaket mit zusätzlichen Funktionen, darunter:

• Bildbeschriftung und -beschreibung
• Kategorisierung von Charakteremoticons
• TTS und Spracherkennung
• Einbettung und Vektor-Speicher
• Stable Diffusion-Bildgenerierung

Installationsanforderungen:

• Python 3.x
• CUDA-Unterstützung (optional, für GPU-Beschleunigung)
• Ca. 6 GB RAM (für alle Module)

Gemeinschaftserweiterungen

• Offiziell anerkannte Drittanbieter-Erweiterungen können über das Menü "Download Extensions & Assets" heruntergeladen werden
• Alle Erweiterungen müssen Open Source sein und freie Lizenzen verwenden
• Erweiterungen müssen mit der neuesten Release-Version kompatibel sein

Projektmerkmale

Offenheit und Datenschutz

• ✅ Vollständig Open Source, dauerhaft kostenlos
• ✅ Lokal lauffähig, sammelt keine Benutzerdaten
• ✅ Keine Online- oder Hostingservices erforderlich
• ✅ Gemeinschaftsgesteuerter Enthusiasmus-Projekt

Für fortgeschrittene Benutzer

• Maximale Kontrolle über Prompts
• Vielzahl an Anpassungsmöglichkeiten
• Steile Lernkurve als Teil des Spaßes
• Maßgeschneidert für AI-Enthusiasten

Aktive Gemeinschaft

• Discord-Gemeinschaft: https://discord.gg/sillytavern
• Über 200 Mitwirkende in ständiger Entwicklung
• Aktive Fehlerverfolgung und Funktionsvorschläge
• Reiche Gemeinschaftsressourcen und Charakterkarten

Verwandte Projekte

• SillyTavern-Extras: Erweiterungspaket
• SillyTavern-Launcher: Starter-Skript-Tool
• SillyTavern-Docs: Offizielle Dokumentationswebsite
• SillyTavern-Content: Offizielles Inhalt-Repository
• STMP: Multiplayer-Version von SillyTavern

Technische Architektur

• Frontend: Web-Oberfläche (HTML/CSS/JavaScript)
• Backend: Node.js-Server
• Kommunikation: RESTful API
• Erweiterungen: Plugin-System
• Speicher: Lokales Dateisystem

Einsatzszenarien

1. Rollenspielsgespräche: Immersive Gespräche mit virtuellen Charakteren
2. Kreatives Schreiben: AI-unterstützte Geschichten und Drehbücher schreiben
3. Persönlicher Assistent: Spezialisierte Aufgabenassistenten konfigurieren
4. Lernen und Experimentieren: Unterschiedliche LLM-Modelle untersuchen und testen
5. Multimodale Interaktion: Kombination von Text, Bild und Sprache für eine umfassende Erfahrung

Beitragshandbuch

Wir freuen uns über Beiträge! Beteiligen Sie sich so:

• Pull Requests einreichen (siehe CONTRIBUTING.md)
• Melden von Problemen und Vorschlägen (mit den bereitgestellten Vorlagen)
• Lesen Sie die vollständige Dokumentation, um doppelte Einreichungen zu vermeiden
• Treten Sie der Discord-Gemeinschaft bei, um zu diskutieren

Haftungsausschluss

Dieses Programm wird "wie es ist" verteilt, ohne jegliche ausdrückliche oder implizite Garantien, einschließlich, aber nicht beschränkt auf, die Gewährleistung der Handelsüblichkeit oder der Eignung für einen bestimmten Zweck. Siehe GNU Affero General Public License.

Entwicklerteam

• Discord: cohee, rossascends, wolfsblvt
• Reddit: /u/RossAscends, /u/sillylossy, /u/Wolfsblvt
• GitHub: Über 200 Mitwirkende

Danksagungen

• TavernAI 1.2.8 von Humi (MIT-Lizenz)
• CncAnon's TavernAITurbo-Mod
• Inspiriert vom Visual Novel Mode von PepperTaco
• Schriftarten: Noto Sans (Google, OFL)
• Symbole: Font Awesome (CC BY 4.0)
• Standardinhalt: @OtisAlejandro, @kallmeflocc
• Docker-Anleitung: @mrguymiah, @Bronya-Rand

Zusammenfassung

SillyTavern ist eine leistungsstarke, hochgradig anpassbare Frontend-Plattform für LLMs, die besonders gut für fortgeschrittene Benutzer geeignet ist, die eine genaue Kontrolle über AI-Interaktionen benötigen. Durch eine einheitliche Oberfläche für viele AI-Modelle, eine reiche Erweiterungsökologie und eine aktive Gemeinschaft bietet es AI-Enthusiasten eine ideale Plattform zum Experimentieren und Kreativsein. Ob für Rollenspiele, kreatives Schreiben oder AI-Forschung, SillyTavern bietet professionelle Werkzeuge und Erfahrungen.