Leitlinien der KI-Architektur

Modularisierung und Service-orientierte Architektur

Ein wesentliches Merkmal der KI-Plattform für die öffentliche Verwaltung ist die Austauschbarkeit einzelner Komponenten. Dies ermöglicht es, technische Weiterentwicklungen im Bereich der Künstlichen Intelligenz zeitnah und mit vertretbarem Aufwand berücksichtigen und integrieren zu können. Die damit einhergehende Modularisierung trägt dazu bei, dass Komponenten autark voneinander entwickelt werden können. Dies setzt jedoch verbindliche Vorgaben auf der Ebene der Makro-Architektur voraus.

Erweiterbarkeit

Durch standardisierte Schnittstellen, einer konsequenten Microservices-Architektur und verbindlichen Architekturvorgaben soll die Erweiterbarkeit der KI-Plattform nicht nur durch die Implementierung zusätzlicher Use Cases garantiert werden, sondern auch neue, diesen Use Cases zugrunde liegende Funktionen, erfolgen können.

Nutzung von Open Source-Komponenten

Die KI-Plattform für die öffentliche Verwaltung setzt vorrangig auf Open Source-Komponenten und profitiert damit von den stetigen Weiterentwicklungen im KI-Umfeld. Gleichzeitig stellt sie sicher, dass Ressourcen für den Aufbau der KI-Plattform effizient eingesetzt werden und redundante Entwicklungen ohne wesentlichen qualitativen Merhwert vermieden werden.

Bereitstellung als Open Source-Software

Nach dem "Einer-für-Alle"-Prinzip (EfA-Prinzip) zielen sowohl die Konzeption der KI-Architektur für die öffentliche Verwaltung als auch die zugehörige Referenzimplementierung darauf ab, eine transparente Diskussions- und technische Grundlage für KI-Kernfunktionen allgemein zur Verfügung zu stellen. Dabei fließen Erweiterungen und Verbesserungen an der Architektur und Implementierung in die Weiterentwicklung ein.

Zentrales RAG-System

Aufgrund der starken dokumentorientierten Arbeitsweise in der öffentlichen Verwaltung ist ein grundlegendes Element der KI-Plattform ein zentrales RAG-System. Hierzu sollen vorrangig Open Source-Komponenten zum Einsatz kommen, die einen vertrauenswürdigen Umgang mit Dokumenten der öffentlichen Verwaltung ermöglichen.

Kapselung

Zusätzliche Abstraktionsebenen führen zu einer effektiven Kapselung der technischen Implementierungen und erlauben den parallelen Einsatz unterschiedlicher Lösungen. Dadurch wird die technische Unabhängigkeit der KI-Plattform von spezifischen Implementierungen sichergestellt.

Verwendung von Open Source KI-Modellen

Ein wesentliches Merkmal der KI-Plattform für die öffentliche Verwaltung ist die Unabhängigkeit von externen Cloud-Angeboten. In diesem Sinne setzt sie auf die Verwendung qualitativ hochwertiger Modelle auf Basis eines Open-Source-Lizenzmodells.

On-Premises-Betrieb

Die KI-Plattform der öffentlichen Verwaltung ist darauf ausgerichtet, On-Premises, also auf eigenen Servern, betrieben zu werden. Dies ermöglicht die eigenständige Verarbeitung sensibler Daten innerhalb des eigenen Rechenzentrums und wahrt die digitale Souveränität beim Einsatz von KI.

Mandantenfähigkeit

Eine Trennung nach unterschiedlichen Organisationen bzw. Organisationseinheiten stellt sicher, dass Zugriffe ausschließlich im definierten Rahmen umgesetzt werden können.

Nutzerverwaltung, Rollen und Berechtigungen

Durch die Berücksichtigung von Rollen und Berechtigungen auf Nutzerebene sind individuelle Funktionen und Anpassungen möglich (Benutzerprofil). Darüber hinaus lässt sich eine Abgrenzung der Zugriffsberechtigungen realisieren. Bei der Anbindung von Systemen bzw. der Überführung von Daten bleiben an dieser Stelle bereits festgelegte Berechtigungen erhalten.

Usage

Bei der Verwendung von LLM-Aufrufen muss der Token-Verbrauch überwacht werden können, um einen unbeabsichtigt oder beabsichtigt hohen Verbrauch einschränken zu können. Der Token-Verbrauch kann auch als Abrechnungs- bzw. Verrechnungsmodell genutzt werden.

Vermeidung/Reduzierung von Halluzinationen

Zusammengesetzte KI-Anwendungen, die auf LLMs als zentrale Komponenten basieren, folgen den statistischen Grundlagen dieser Modelle. Sie agieren als "next-word-predictor", weshalb Halluzination ein wesentliches Merkmal darstellt, das durch geeignete Mechanimsen kontrolliert werden kann. Halluzinationen können auf unterschiedliche Weise auftreten: Der Prompt liegt "out-of-distribution", er beinhaltet im Training nicht gesehene Tokens und das LLM kann auf Basis seines Fakten-basierten Wissen keine sinnvolle (gültige) Prognose für ein nächstes Wort treffen und driftet in eine Pfad-Abhängigkeit ab, die wir dann als Halluzination wahrnehmen. Ziel der Plattform ist es, Strategien zur Vermeidung von Halluzinationen bereitzustellen.