OrchestAI: Enterprise Multi-LLM-Orchestrierung mit signiertem Audit und On-Premise-Deployment

Die Enterprise-KI-Adoption steht vor einer Governance-Lücke. Organisationen setzen KI-Tools ad-hoc ein — eine Abteilung nutzt ChatGPT hier, eine andere Claude dort, eine dritte experimentiert mit Open-Source-Modellen auf persönlichen Rechnern. Es gibt keine zentrale Sichtbarkeit darüber, was KI-Agenten tun, welche Daten sie verarbeiten, welcher Anbieter welche Anfrage bearbeitet oder was alles kostet. Wenn der CISO fragt 'können Sie beweisen, was Ihre KI letzten Dienstag getan hat?', ist die Antwort Schweigen. Wenn der CFO fragt 'wie viel geben wir für KI aus?', weiß es niemand. Das ist Schatten-KI — und für regulierte Unternehmen ist es ein existenzielles Compliance-Risiko.

Die Herausforderung

Ein regionales Energieversorgungsunternehmen mit über 1.500 Mitarbeitern identifizierte drei kritische Probleme mit seiner KI-Adoptionsstrategie: Erstens, Schatten-KI — Abteilungen abonnierten unabhängig KI-Dienste ohne zentrale Governance, was Datenleckage-Risiken und Compliance-Blindstellen schuf. Zweitens, Vendor Lock-in — frühe KI-Investitionen waren eng an einen einzigen Anbieter gekoppelt, was Geschäftskontinuitätsrisiken schuf und Kostenoptimierung verhinderte. Drittens, Audit-Anforderungen — ihr regulatorischer Rahmen verlangte nachweisbaren Beweis, dass KI-Systeme innerhalb definierter Grenzen operierten, mit manipulationssicheren Aufzeichnungen jeder Entscheidung und Aktion.

Bestehende Lösungen adressierten ein oder zwei dieser Probleme, aber nie alle drei zusammen. Multi-LLM-Router existierten, aber ohne Audit-Fähigkeiten. Compliance-Plattformen existierten, aber erzwangen Cloud-Deployment. Governance-Tools existierten, aber unterstützten keine On-Premise-Installation. Die Organisation brauchte eine einzige Plattform, die alle drei kombiniert — und diese Plattform existierte nicht.

Die Lösung: OrchestAI-Architektur

OrchestAI wurde von Grund auf entworfen, um das Problem der gesteuerten Enterprise-KI zu lösen. Die Architektur ruht auf vier Säulen:

• Multi-LLM-Router: Jede KI-Anfrage läuft durch einen zentralen Router, der den optimalen Anbieter basierend auf konfigurierbaren Strategien auswählt — günstigster, Local-First, Cloud-First oder bevorzugter — mit automatischem Fallback. Anwendungen verbinden sich mit der einheitlichen API von OrchestAI und müssen nie wissen, welcher Anbieter ihre Anfrage bedient.
• Signierte Audit-Kette: Jede Agentenaktion wird mit HMAC-SHA256 signiert und mit der vorherigen Aktion verkettet. Dies erzeugt ein manipulationssicheres Log, das externe Prüfer unabhängig verifizieren können. Wird ein Eintrag in der Kette nachträglich geändert, bricht die kryptographische Kette und die Manipulation ist sofort erkennbar.
• On-Premise-Deployment: Die gesamte Plattform — API (FastAPI), Frontend (Next.js), Datenbank (PostgreSQL), Vector Store (ChromaDB) — wird über docker-compose oder Helm/Kubernetes auf der eigenen Infrastruktur des Kunden bereitgestellt. Keine Daten verlassen jemals sein Rechenzentrum.
• Versionierter Agentenkatalog: Agenten werden mit Promotion-Gates (Dev → Staging → Prod), Evaluierungs-Benchmarks vor der Promotion und kontinuierlichen Canary-Deployments alle 15 Minuten verwaltet. Dies bringt Software-Engineering-Disziplin in den KI-Betrieb.

Technische Architektur

Die OrchestAI-Plattform umfasst 22 SQLAlchemy-Modelle in 39 Datenbanktabellen. Das Backend ist Python/FastAPI mit vollständiger Type Safety. Das Frontend ist Next.js für das Management-Dashboard. PostgreSQL verwaltet relationale Daten, während ChromaDB vektorbasierten Speicher für Agenten-Speicherpersistenz und -Retrieval bereitstellt. Das System unterstützt SSO via OIDC mit Domain-Allowlist, und alle Zugangsdaten werden mit Fernet AES verschlüsselt.

Die Testinfrastruktur umfasst ungefähr 574 pytest-Tests, die die Backend-API und Geschäftslogik abdecken, plus 41 Playwright-End-to-End-Tests, die den gesamten Benutzerpfad von der Agentenerstellung über das Deployment bis zur Audit-Verifizierung validieren. Backup-/Restore-Verfahren wurden mit einer getesteten RTO von ungefähr 30 Sekunden erprobt.

Business Case: Versorgerprofil

Für einen regionalen Versorger mit 1.500 Mitarbeitern, der KI in Betrieb, Kundenservice und vorausschauender Wartung einsetzt, ist die Wirtschaftlichkeit überzeugend. Unverwaltete Multi-Provider-KI-Ausgaben übersteigen typischerweise USD 8.000 pro Monat. Mit dem intelligenten Routing von OrchestAI — insbesondere der Local-First-Strategie, die geeignete Anfragen an On-Premise-Ollama-Modelle statt an teure Cloud-APIs leitet — können Organisationen eine Reduktion der KI-Infrastrukturkosten um 60-70% erwarten, was die monatlichen Ausgaben auf USD 2.000-3.000 senkt, bei gleicher oder besserer Servicequalität für jeden Anwendungsfall.

Ergebnisse und aktueller Status

• Multi-LLM-Routing zwischen Claude, GPT, Gemini und Ollama mit konfigurierbaren Strategien und automatischem Fallback
• HMAC-SHA256-signierte Audit-Kette — manipulationssicher, unabhängig von externen Prüfern verifizierbar
• Vollständiges On-Premise-Deployment via docker-compose oder Helm/Kubernetes — Daten verlassen niemals das Rechenzentrum des Kunden
• Versionierter Agentenkatalog mit Promotion-Gates (Dev → Staging → Prod) und kontinuierlichen Canary-Deployments alle 15 Minuten
• Kostenquoten pro Agent mit Echtzeit-Dashboards und Benachrichtigungen für Budget-Governance
• 60-70% geschätzte Kostenreduktion durch intelligentes Provider-Routing
• Audit-Compliance in ungefähr 1 Tag erreichbar mit der Evidenz der signierten Kette
• ~30s getestete Backup-RTO für Geschäftskontinuität

Kundenreferenz

OrchestAI befindet sich derzeit in aktiver Pilotvorbereitung mit EPEC (Empresa Provincial de Energía de Córdoba), einem regionalen Energieversorger in Argentinien. Die Demo wurde genehmigt und die Pilotphase wird strukturiert. EPEC repräsentiert das ideale OrchestAI-Kundenprofil: ein großes reguliertes Unternehmen mit verteilter KI-Adoption, strengen Audit-Anforderungen und einem klaren Bedarf an On-Premise-Deployment zur Wahrung der Datensouveränität.

Differenzierungsmerkmal

OrchestAI ist die einzige Plattform, die versionierte Agenten + Multi-LLM-Routing + signierte Audit-Ketten + On-Premise-Deployment in einem einzigen Produkt vereint. Wettbewerber bieten ein oder zwei dieser Fähigkeiten, aber nie alle vier zusammen. Diese Kombination ist das, was regulierte Unternehmen brauchen — und es ist das, wofür OrchestAI gezielt gebaut wurde.