Zum Inhalt

KI-Verwaltungsassistenz (KIVA) - Fachverfahrensmodernisierung für die Öffentliche Verwaltung

Human-in-the-Loop (HITL)

In diesem Abschnitt wird das Konzept des Human-in-the-Loop (HITL) erläutert und dessen Bedeutung im Kontext der KI-gestützten Modernisierung von Fachverfahren dargestellt. Ziel ist es, die Rolle des Menschen im Modernisierungsprozess zu verdeutlichen und aufzuzeigen, wie eine effektive Zusammenarbeit zwischen Mensch und KI-Agenten gestaltet werden kann, um optimale Ergebnisse zu erzielen. Ebenso werden die Herausforderungen und Chancen des HITL-Ansatzes diskutiert.


Motivation und Zielsetzung

Bei der Modernisierung von Fachverfahren entscheidet nicht allein die technische Korrektheit, sondern vor allem die fachliche Passfähigkeit (Prozesslogik, Randfälle, Regeln, Bedienbarkeit, Datenvalidierungen). Der HITL-Ansatz etabliert hierfür einen kontrollierten Postproduktionsprozess, der:

  • fachliches Feedback aus realistischen Testsituationen systematisch erfasst,
  • Rückmeldungen in formalisierte Anforderungen (inkl. Akzeptanzkriterien) überführt,
  • Korrekturen durch KI-Agenten (Feature/Bugfix) nachvollziehbar implementiert,
  • Änderungen über Repository und CI/CD prüfbar macht,
  • iterative Re-Validierung ermöglicht und in eine klare Abnahmeentscheidung mündet.

Rollenmodell: Zusammenarbeit zwischen Mensch und KI-Agenten

  • Endnutzer:in / Fachseite: bewertet fachliche Korrektheit, Prozessfluss, Usability; formuliert Anforderungen und entscheidet über Abnahme.
  • Tester:in (optional): unterstützt durch strukturierte Testfälle, Regression, reproduzierbare Fehlerberichte.
  • KI-Agenten / Automatisierung:

  • sammeln Feedback (z. B. via Chat),

  • strukturieren und normalisieren Inhalte (z. B. Bug vs. Feature vs. Klärung),
  • übersetzen Feedback in formale Artefakte (User Stories, AC, Tickets),
  • generieren Codeänderungen,
  • erstellen Commits sowie Pull-/Merge-Requests,
  • liefern Test-/Qualitätsnachweise (z. B. Pipeline-Reports).
  • Repository & CI/CD: Versionierung, Audit-Trail, automatisierte Prüfungen und kontrollierte Integration.

Isolierte Testumgebung als Grundlage für fachliche Validierung

Nach der initialen Generierung sollte das modernisierte Fachverfahren in eine separierte Testumgebung ausgerollt werden, die:

  • strikt von Produktion getrennt ist (Zugriff, Netzwerk, Secrets),
  • realitätsnahe Tests ermöglicht (fachliche Prozesse, Rollen, Berechtigungen),
  • Beobachtbarkeit unterstützt (Logs, Metriken, Fehlerberichte) und Anpassungen erlaubt.

Mögliche Ausprägungen (je nach Reifegrad):

  • automatisierte Deployments über Pipeline,
  • „Preview Environments“ pro Branch/PR/MR,
  • definierte Testdaten-Sets und reproduzierbare Testläufe.

Feedback-Erfassung und Formalisierung

Feedback-Kanal (z. B. Chat)

Endnutzer:innen (und ggf. Tester:innen) geben Rückmeldungen in natürlicher Sprache ab, z. B.:

  • Bugs (Fehler, Abweichungen vom erwarteten Verhalten),
  • Features (Erweiterungen, fehlende Funktionen),
  • Klärungen (Widersprüche, Randfälle, Präzisierungen),
  • UX/UI-Verbesserungen und Validierungsregeln.

Formalisierung durch KI-Agenten

Das System transformiert freies Feedback in formalisierte Anforderungen (typischerweise):

  • Beschreibung (User Story / Requirement),
  • Akzeptanzkriterien (Acceptance Criteria),
  • Priorität und Impact,
  • Kontext (Umgebung, Daten, Reproduktionsschritte),
  • Zuordnung zu Komponenten (Traceability).

Ziel ist eine durchgängige Rückverfolgbarkeit: Feedback → formale Anforderung → Codeänderung (Commit/PR) → Testnachweis → Abnahme.


Iterativer Prozess: Von Feedback bis Integration

Prozessschritte

  1. Initiale Generierung des modernisierten Fachverfahrens (Baseline).
  2. Deployment in die isolierte Testumgebung.
  3. Fachliche Tests durch Endnutzer:in und/oder Tester:in.
  4. Feedback-Erfassung über den vorgesehenen Kanal.
  5. Formalisierung zu Anforderungen inkl. Akzeptanzkriterien.
  6. Automatisierte Implementierung durch KI-Agenten (Feature/Bugfix).
  7. Versionierung im Repository: Commits und idealerweise ein PR/MR.
  8. CI/CD-Prüfungen (Tests, Linting, statische Analysen, Quality Gates).
  9. Erneutes Deployment der überarbeiteten Version.
  10. Re-Tests und Validierung gegen Akzeptanzkriterien.
  11. Abnahmeentscheidung durch Endnutzer:in.
  12. Merge in den Main-Branch als freigegebener Stand.

Artefakte und Governance

  • Feedback-Register (Klassifikation: Bug/Feature/Klärung).
  • Formalisierte Anforderungen (Beschreibung, AC, Priorität, Zuordnung).
  • Code-Artefakte (Commits, PR/MR) mit Verlinkung zu Anforderungen.
  • Qualitäts- und Testnachweise (Pipeline-Reports, Logs, ggf. Testprotokolle).
  • Abnahmeprotokoll (Entscheidung, Datum, Version, Abnahmekriterien).

Chancen des HITL-Ansatzes

  • Fachliche Passfähigkeit: frühe Erkennung von Randfällen und Prozessabweichungen.
  • Vertrauen & Transparenz: nachvollziehbare Änderungen, klarer Audit-Trail.
  • Schnelle Iterationen: zügige Schließung von Lücken durch automatisierte Bugfix-/Feature-Zyklen.
  • Qualitätssteigerung: Kombination aus automatisierten Checks und fachlicher Validierung.

Herausforderungen und Risiken

  • Unstrukturiertes Feedback → konsequente Formalisierung + Akzeptanzkriterien + Priorisierung.
  • Regressionsrisiko → CI/CD-Regressionssuite, reproduzierbare Testumgebung, klare Quality Gates.
  • Scope Creep / zu viele Iterationen → Definition of Done, Iterationslimits, explizites Change-Management.
  • Datenschutz/Sicherheit → Isolation, Testdaten/Anonymisierung, minimaler Zugriff, Secrets-Management.
  • Unklare Abnahmeverantwortung → eindeutiger Decision Point: Abnahme durch Fachseite.

Minimaler Dokumentationsumfang dieses Bausteins

  1. Bereitstellung und Zugriff auf die Testumgebung.
  2. Feedback-Format (Mindestangaben, Beispiele, Kategorisierung).
  3. Formalisierungsregeln (User Story, AC, Priorisierung, Traceability).
  4. Erzeugung von Commits/PR/MR und Qualitätsprüfungen.
  5. Validierungs- und Abnahmeprozess (Rollen, Kriterien, Artefakte).
  6. Merge- und Release-Strategie (mindestens Merge in Main; optional Produktionsfreigabeprozess).

Zusammenfassung

Der HITL-Ansatz ergänzt die KI-gestützte Modernisierung von Fachverfahren um eine strukturierte, fachlich getriebene Qualitätssicherung und Abnahme. Endnutzer:innen validieren das Ergebnis in einer isolierten Testumgebung; KI-Agenten transformieren Feedback in formale Anforderungen und implementieren Änderungen nachvollziehbar (Commits/PR/MR). Über CI/CD und wiederholte Validierung entsteht ein geprüfter Stand, der nach fachlicher Abnahme kontrolliert in den Main-Branch integriert werden kann.