KIVA-Plattform – Grundidee

Überblick

KIVA ist ein souveräner AI-Gateway für die öffentliche Verwaltung in Baden-Württemberg, der eine sichere und kontrollierte Nutzung von Large Language Models (LLMs) ermöglicht. Die Plattform basiert auf dem KIVA LLM Gateway (Fork von LiteLLM), der sowohl die Sicherheitsfunktionen (TLS, Rate Limiting, Authentifizierung, API Key Management) als auch die AI-spezifische Logik bereitstellt (Modell-Routing, Budget-Management, Caching). Optional kann Kong Gateway als zusätzliche Sicherheitsebene eingesetzt werden.

Durch die Bereitstellung einer OpenAI-kompatiblen API können beliebige Client-Anwendungen (Open WebUI, F13-Plattform, Custom Apps) ohne Codeänderungen integriert werden. Die Plattform unterstützt sowohl lokale GPU-beschleunigte Inferenz über vLLM als auch externe LLM-Provider (OpenAI, Anthropic, Azure), wobei Datenhoheit und Compliance-Anforderungen gewährleistet werden.

Alle Komponenten laufen auf Azure Kubernetes Service (AKS) und werden über Helmfile deklarativ verwaltet, mit automatisierter CI/CD-Pipeline über GitOps/ArgoCD.

⚠️ Hinweis: Die aktuelle Implementierung auf Azure Kubernetes Service (AKS) dient als Proof of Concept (POC) für Evaluierungszwecke. Die Architektur ist cloud-agnostic und kann auf andere Cloud-Provider oder On-Premise-Infrastruktur migriert werden.