Erfasst:261 News/91 KI-Tools/372 Open-Source-Projekte/64 Lernressourcen
StartNewsOpen SourceModelleKI-ToolsLernen
Start / Open Source / OmniRoute

OmniRoute

OmniRoute ist ein kostenloses, selbst gehostetes KI-Gateway, das über 290 Anbieter und mehr als 500 Modelle hinter einem einzigen OpenAI-kompatiblen Endpunkt vereint – mit intelligentem Routing, Failover und Token-Komprimierung.

TypeScriptMITDeploy & Inference
⭐ GitHubhttps://github.com/diegosouzapw/OmniRoute
32,726
Stars
+0
Star-Wachstum
Jul 28, 2026
Zuletzt aktualisiert
2
Klicks

1. Projektübersicht

OmniRoute ist ein kostenloses, MIT-lizenziertes, selbst gehostetes KI-Gateway, das den Zugriff auf über 290 KI-Anbieter und mehr als 500 Modelle hinter einem einzigen OpenAI-kompatiblen Endpunkt bündelt. Es löst das Problem, beim Entwickeln mit LLMs separate API-Keys, Rate Limits und Anbieterausfälle jonglieren zu müssen.

2. Hintergrund & Positionierung

OmniRoute wurde entwickelt, damit Entwickler "niemals aufhören zu coden" – selbst wenn ein bevorzugtes Modell ein Rate Limit erreicht, sein kostenloses Kontingent verliert oder komplett ausfällt. Anstatt eine Anwendung fest an einen Anbieter zu binden, richten Entwickler ihre Tools einmalig auf den lokalen Endpunkt von OmniRoute aus, und das Gateway übernimmt im Hintergrund die Anbieterauswahl, das Failover und die Kostenoptimierung.

Im Vergleich zu ähnlichen Gateway-Projekten wie OpenRouter oder LiteLLM zeichnet sich OmniRoute durch folgende Merkmale aus:

  • Einen deutlich größeren Katalog an Free-Tier-Anbietern (über 90 Anbieter mit kostenlosem Zugriff, monatlich werden ca. 1,53 Mrd. kostenlose Tokens erfasst)
  • Eine Local-First-Architektur – es läuft standardmäßig vollständig auf dem eigenen Rechner des Entwicklers ohne jegliche Cloud-Telemetrie, anstatt den Datenverkehr über ein SaaS-Angebot eines Drittanbieters zu leiten
  • Eine integrierte Token-Komprimierungs-Pipeline, die zusätzlich zu Routing und Fallback die Kosten jeder Anfrage senkt
  • Native Unterstützung für Agentenprotokolle (MCP, A2A) zusätzlich zur REST-API, was es als Infrastruktur sowohl für menschliche Entwickler als auch für autonome Coding-Agenten positioniert

3. Feature-Kategorien

🔀 Smart Routing — 19 Strategien, 3-5 Beispiele: Priority Routing, Weighted Routing, kostenoptimiertes Routing, "Last-Known-Good Path"-Routing und ein "Auto"-Kombinationsmodus. Zweck: Automatische Auswahl des besten verfügbaren Anbieters für jede Anfrage.

🛡️ Resilienz & Failover — 3-Schichten-System, Beispiele: anbieterspezifische Circuit Breaker, automatischer Retry bei Fehlern, quotenbewusstes Fallback, gesundheitsbasiertes Routing, Remote-VPS-Failover-Modus. Zweck: Anfragen auch dann erfolgreich halten, wenn einzelne Anbieter Rate Limits auslösen oder ausfallen.

🗜️ Token-Komprimierung — 12-Engine-Pipeline, Beispiele: RTK (Tool-Result-Filtering), Caveman (Textkomprimierung), LLMLingua-2 (semantisches Pruning), Regeln zur Erhaltung von Code/URLs/JSON. Zweck: Reduzierung der Token-Nutzung um angeblich 15–95 % (durchschnittlich ca. 89 %), ohne strukturierte Inhalte zu zerstören.

🔌 Protokoll- & Integrationsunterstützung — 4 Hauptschnittstellen, Beispiele: OpenAI-kompatible REST-API, MCP-Server (104 Tools), A2A-Protokoll, Webhooks, über 80 CLI-Befehle. Zweck: Ermöglicht sowohl menschengesteuerten IDEs als auch autonomen Agenten, auf dieselbe Weise mit dem Gateway zu kommunizieren.

🤝 Kompatibilität mit Coding-Agenten — Über 33 unterstützte Tools, Beispiele: Claude Code, Cursor, Cline, Continue, GitHub Copilot, OpenCode. Zweck: Drop-in-Ersatz-Endpunkt, damit bestehende Agenten-Tools unverändert funktionieren.

4. Wichtigste Highlights

  • Über 290 Anbieter, 500+ Modelle hinter einem Endpunkt — darunter Claude, GPT, Gemini, DeepSeek, GLM, Kimi und MiniMax, erreichbar ohne die Verwaltung Dutzender separater API-Keys.
  • Über 90 kostenlose Anbieter, ca. 1,53 Mrd. kostenlose Tokens/Monat erfasst — ein maschinenlesbarer, regelmäßig überprüfter Katalog kostenloser Tiers, der etwa alle zwei Wochen aktualisiert wird.
  • 12-Engine-Token-Komprimierung — kürzt Request/Response-Payloads unter ausdrücklicher Beibehaltung von Code, URLs und JSON-Struktur, was die Kosten bei jedem Aufruf senkt.
  • 3-Schichten-Circuit-Breaker-Resilienz — erkennt automatisch ausfallende Anbieter und leitet den Datenverkehr um, sodass der Ausfall eines einzelnen Anbieters die Entwicklung nicht stoppt.
  • Local-First, Zero-Telemetrie-Design — das Gateway und sein verschlüsselter (AES-256-GCM) Credential Store laufen vollständig auf dem eigenen Rechner oder selbst gehosteten Server des Nutzers.
  • Agenten-native Protokolle — erstklassige Unterstützung für MCP-Server und A2A-Protokoll neben der REST-API, entwickelt für das wachsende Ökosystem autonomer Coding-Agenten.

5. Anwendungsfälle nach Rolle

Allgemeine Entwickler — Richten Sie eine beliebige OpenAI-kompatible IDE oder ein CLI-Tool auf http://localhost:20128/v1 aus, verwenden Sie das auto-Modell und erhalten Sie automatisches Fallback über kostenlose und kostenpflichtige Anbieter, ohne Integrationscode neu schreiben zu müssen.

DevOps/SRE — Stellen Sie OmniRoute über Docker oder als VPS-gehostete Instanz mit bereichsbezogenen Remote-Tokens bereit, um die LLM-Nutzung, Kontingente und die Anbietergesundheit teamübergreifend zu zentralisieren und zu überwachen.

Projektmanager — Nutzen Sie Quota Pooling und Fair-Share-Verteilung, um die KI-Ausgaben im Team zu kontrollieren und nachzuverfolgen, ohne dass jedes Mitglied individuelle Anbieterkonten benötigt.

6. Erste Schritte

Finden Sie, was Sie brauchen — Durchstöbern Sie den Free-Tier-Anbieterkatalog und die Vergleichsdokumentation im /docs-Verzeichnis des Repositorys oder werfen Sie einen Blick in das Wiki für Architektur und Anleitungen.

Installieren / Integrieren:

npm install -g omniroute
omniroute

oder über Docker:

docker run -d --name omniroute -p 127.0.0.1:20128:20128 diegosouzapw/omniroute

Richten Sie dann einen beliebigen OpenAI-kompatiblen Client auf http://localhost:20128/v1 aus.

Beitragen:

git clone https://github.com/diegosouzapw/OmniRoute.git
cd OmniRoute
npm install && npm run dev

Öffnen Sie einen Pull Request gemäß den Beitragsrichtlinien des Projekts.

7. Projektstruktur

OmniRoute/
├── src/         # Kern-Gateway, Routing-Engine, Komprimierungs-Pipeline
├── public/      # Dashboard-Assets und Anbieter-Icons
├── docs/        # Anleitungen: Docker, Komprimierung, Anbieter, Sicherheit
├── tests/       # Automatisierte Testsuite
├── electron/    # Native Desktop-App (Windows/macOS/Linux)
└── examples/    # Integrationsbeispiele für Coding-Agenten und IDEs

src/ enthält die Routing- und Komprimierungslogik, die das Herzstück des Gateways bildet, während docs/ den kontinuierlich aktualisierten Free-Tier-Anbieterkatalog enthält, auf den im gesamten Projekt Bezug genommen wird.

8. Verwandtes Ökosystem

  • Upstream-Abhängigkeiten: die über 290 KI-Anbieter, an die es routet (OpenAI, Anthropic, Google, Moonshot AI/Kimi, DeepSeek und viele Free-Tier-Dienste), sowie Next.js als zugrundeliegendes Anwendungsframework.
  • Ergänzende Tools: Coding-Agenten und IDEs wie Claude Code, Cursor, Cline, Continue, OpenCode und GitHub Copilot, die sich mit OmniRoute als ihrem Modell-Backend verbinden.
  • Vergleichbare Projekte: OpenRouter und LiteLLM, die ähnliche Multi-Provider-Routing-Anforderungen adressieren.

9. Lizenz

✅ Kostenlos nutzbar, selbst hostbar, modifizierbar und verteilbar (MIT-Lizenz)
✅ Kommerzielle Nutzung gestattet
❌ Keine Gewährleistung durch die Autoren
ℹ️ Erfordert die Beibehaltung des ursprünglichen Copyright- und Lizenzhinweises in Kopien der Software

10. FAQ

F: Sendet OmniRoute meine API-Keys oder meinen Datenverkehr an einen Cloud-Dienst eines Drittanbieters?
A: Nein – es ist als Local-First-Gateway konzipiert, das auf Ihrem eigenen Rechner oder Server läuft, standardmäßig ohne Cloud-Telemetrie und mit verschlüsselter lokaler Speicherung der Zugangsdaten.

F: Muss ich bezahlen, um OmniRoute zu nutzen?
A: OmniRoute selbst ist kostenlos und MIT-lizenziert. Es kuratiert zudem über 90 kostenlose Anbieter-Tiers, sodass Sie ohne kostenpflichtige API-Keys starten können.

F: Welche Coding-Tools kann ich mit OmniRoute verwenden?
A: Jeder OpenAI-kompatible Client funktioniert out-of-the-box, darunter Claude Code, Cursor, Cline, Continue, OpenCode und GitHub Copilot – über 33 Tools werden explizit unterstützt.

F: Wie funktioniert das "auto"-Modell?
A: Wenn Sie das Modell auf auto setzen, wählt OmniRoute dynamisch den besten Anbieter basierend auf Routing-Strategie, Kontingent und Gesundheit aus, mit automatischem Fallback, falls ein Anbieter ausfällt.

F: Wie viel kann man durch Token-Komprimierung tatsächlich sparen?
A: Das Projekt dokumentiert Einsparungen von etwa 15–95 % je nach Inhaltstyp, mit einem Durchschnitt von rund 89 %, erreicht durch eine 12-stufige Komprimierungs-Pipeline, die Code, URLs und JSON stets beibehält.

11. Quick Links

12. Zusammenfassung

OmniRoute bietet Entwicklern ein einziges, selbst gehostetes Gateway zu Hunderten von KI-Anbietern und Modellen und reduziert sowohl den operativen Aufwand für die Verwaltung mehrerer API-Keys als auch die Token-Kosten jeder Anfrage. Es ist am besten für einzelne Entwickler und Teams geeignet, die auf KI-Coding-Agenten angewiesen sind und Resilienz gegen Rate Limits und Ausfälle von Anbietern wünschen, ohne die Kontrolle über ihre Zugangsdaten oder ihren Datenverkehr aufzugeben.