Warum eine Antwort auf eine Ausschreibung vier Phasen durchläuft
Eine Anfrage (eine Ausschreibung, ein Sicherheitsfragebogen, ein Due-Diligence-Fragebogen, eine Anfrage eines Auditors) kommt als Block an: Dutzende oder Hunderte Fragen, eine Frist, eine Unterschrift am Ende. Die Versuchung ist, sie in einem Zug einem Werkzeug anzuvertrauen, das liest, schreibt und gegenliest. Genau das sollte man nicht tun.
Der Grund ist belegt. Ein Sprachmodell, das seine eigene Produktion gegenliest, korrigiert seine Denkfehler nicht ohne externe Rückmeldung, und seine Leistung verschlechtert sich nach dieser Selbstkorrektur manchmal sogar (Huang et al., ICLR 2024). Eine KI, die sich selbst gegenliest, bestätigt, was sie geschrieben hat. Was erfundene Behauptungen tatsächlich reduziert, ist ein vom Entwurf getrenntes Prüfverfahren: Kontrollfragen, die unabhängig von der ersten Abfassung gestellt und beantwortet werden (Dhuliawala et al., 2023). Die Prüfung muss von anderswoher kommen als von der Abfassung.
Daher die vier Phasen, und ihre Aufteilung auf drei Akteure, die sich nie vermischen.
| Phase | Akteur | Was sie hervorbringt | Was das Überspringen kostet |
|---|---|---|---|
| Verstehen | der Agent, der die Frage analysiert | eine Lesart der Absicht und des Risikos jeder Frage | eine richtige Antwort auf eine falsch verstandene Frage, also eine falsche Antwort |
| Verfassen | der Agent Ihres Fachgebiets und der Agent Ihrer Branche | eine aus Ihrem Referenzwerk gezogene, seitengenau zitierte Antwort | eine plausible, aber unbelegte oder unpassende Antwort |
| Prüfen | ein zweites, unabhängiges KI-Team | einen Score, die Abweichungen, die Maßnahme zum Schließen der Lücke | eine Erfindung, die unverändert vor den Unterzeichner gelangt |
| Validieren | ein benannter menschlicher Experte | eine nachvollziehbare Signatur, einen belastbaren Vorgang | eine Verantwortung, die niemand trägt |
Phase 1, verstehen: Was tut eine KI-Software mit der Frage einer Ausschreibung, bevor sie antwortet?
Eine falsch verstandene Frage erzeugt eine falsche Antwort, selbst wenn die Quelle gut ist. Das ist der häufigste und am wenigsten sichtbare Fehler, weil die Antwort korrekt erscheint.
Der Agent, der die Frage analysiert, klassiert daher jede von ihnen, vor jeder Abfassung, nach fünf Absichtstypen: faktisch, explorativ, vergleichend, Falle, vertragliche Verpflichtung. Er erkennt auch riskante Formulierungen: Absolutheiten („garantieren Sie eine vollständige Verfügbarkeit?"), doppelte Verneinungen, implizite Verpflichtungen („bestätigen Sie, dass Sie sich an jede regulatorische Entwicklung anpassen werden"). Das erkannte Risikoniveau bestimmt die anschließende Behandlung: Eine faktische Frage verlangt ein Zitat; eine Fallenfrage verlangt eine vorsichtige Umformulierung und eine Weiterleitung an den Validierer; eine vertragliche Verpflichtung verlangt eine juristische Prüfung vor der Abgabe.
Diese erste Phase ist diejenige, die Redaktionswerkzeuge fast immer überspringen. Sie lesen die Frage als Schreibanweisung. Der Agent liest sie als zu bewertendes Risiko.
Phase 2, verfassen: Wie verfasst eine KI-Software eine Antwort allein aus Ihren Dokumenten?
Vor jeder Anfrage hat ein Bibliothekar-Agent die Dokumentation des Unternehmens gelesen (Richtlinien, Verfahren, Zertifikate, bereits validierte Antworten, Prüfberichte) und sie zu einem nutzbaren Referenzwerk strukturiert. Er ist es, der einen Bestand heterogener Dateien in eine Basis verwandelt, auf der die anderen Agenten Nachweise erzeugen können.
Die Abfassung wird dann zwei zusammenarbeitenden Agenten anvertraut: dem Ihres Fachgebiets und dem Ihrer Branche. Sie verfassen ausgehend von diesem Referenzwerk, und nur von ihm. Jede Antwort nennt ihr Dokument, ihre Seite und ihre Version. Eine Antwort, die ihre Quelle nicht nennen kann, wird nicht verfasst: Die Lücke wird gemeldet, sie wird nicht durch einen plausiblen Satz gefüllt.
Die Spezialisierung zählt ebenso wie die Quelle. Eine Frage zur sozialen Verantwortung im Energiesektor verlangt nicht dieselbe Antwort wie eine Qualitätsfrage in der Lebensmittelbranche: die zitierten Referenzwerke, die Erwartungen des Lesers und das Vokabular unterscheiden sich. Eine generische KI verfasst beide gleich. Spezialisierte Agenten verfassen jede in ihrer eigenen Welt.
Auf der Plattform Optivalue.ai, die diese Website herausgibt, mobilisiert diese zweite Phase 85 spezialisierte Agenten: 72 Fachagenten, 12 Branchenagenten und 1 Bibliothekar-Agent. Eine Frage zur Bank-Compliance etwa mobilisiert den Rechtsagenten und den Finanz-Branchenagenten gemeinsam.
Phase 3, prüfen: Wie kontrolliert ein zweites KI-Team eine Antwort, die es nicht verfasst hat?
Ein zweites, vom ersten unabhängiges KI-Team nimmt jede Antwort erneut vor. Es bewertet sie von 0 bis 100, kontrolliert, dass jede zitierte Quelle tatsächlich das sagt, was ihr zugeschrieben wird, meldet Abweichungen zwischen dem Behaupteten und dem Bewiesenen, und empfiehlt die Maßnahme zum Schließen jeder Lücke: welches Dokument fehlt, welcher Experte es liefern kann, vor der Abgabe.
Diese Unabhängigkeit ist kein architektonischer Komfort. Sie ist die Voraussetzung dafür, dass die Prüfung wirklich prüft. Ein Team, das seine eigene Arbeit gegenliest, sucht, sie zu bestätigen; ein Team, das die eines anderen gegenliest, sucht den Fehler. Das Verfahren umfasst 5 Schichten, darunter 7 Anti-Halluzinations-Kontrollen, und eine Antwort, die bei einer davon scheitert, erreicht den Validierer nie.
Wenn der Nachweis fehlt, füllt das zweite Team die Lücke nicht: Es erklärt sie. Und es bleibt nicht bei der Enthaltung stehen. Wo sich ein Werkzeug damit begnügt, „ich weiß es nicht" zu sagen, geht es weiter: Die Lücke wird benannt, der passende Experte bestimmt, die Maßnahme zum Schließen vorgeschlagen. Phase 3 erzeugt so zwei Dinge: eine bewertete Antwort und eine Liste dessen, was noch zu tun ist, damit der Vorgang trägt.
Phase 4, validieren: Wie validiert ein benannter Experte eine Antwort auf eine Ausschreibung?
Die letzte Phase ist menschlich. Validierer werden nach Fachgebiet zugewiesen: Recht validiert vertragliche Verpflichtungen, Sicherheit validiert Kontrollen, Finanzen validiert Bedingungen. Jede Antwort trägt einen Genehmigungsstatus, und die Validierung ist eine namentliche und nachvollziehbare Signatur, belastbar bei Audit wie bei Streitfall. Der gesamte Vorgang ist rekonstruierbar: Man kann für jeden abgegebenen Satz zurückverfolgen, wer verfasst hat, wer geprüft hat, welchen Score, wer unterschrieben hat.
Eine mechanische Signatur würde nichts beweisen. Deshalb begleitet ein Wachsamkeitstest diese Phase: absichtlich fehlerhafte Antworten werden in den Validierungsfluss eingeschleust, und wird eine davon genehmigt, geht ein Alarm aus. Die Häufigkeit der Einschleusungen, die Empfänger des Alarms und der Auslöseschwellenwert werden je Organisation eingestellt. Das ist die Kontrolle, die die menschliche Aufmerksamkeit misst, statt sie vorauszusetzen.
Die Konzession, die alles klärt
Für einen Entwurf, eine interne Notiz, einen Text, den niemand unterschreiben wird, genügt ein einziger Durchgang, und die generische KI erledigt ihn schnell und gut. Die vier Phasen bringen nichts für das, was nicht bindet.
Sie existieren für den Moment, in dem das Dokument das Unternehmen verlässt und jemand dafür geradesteht. Ein Entwurf bindet niemanden. Ihre Antwort schon. Die Trennung der Phasen hat Kosten je Frage; das Fehlen der Trennung hat Kosten je Vorgang: eine falsche, von einer Führungskraft unterschriebene Behauptung.
Drei Fragen, die die Grenze ziehen
Um zu wissen, ob ein System die vier Phasen tatsächlich anwendet oder sie nur ankündigt:
- Wer hat die Frage verstanden, bevor sie verfasst wurde, und wo steht das geschrieben? Wenn die Klassifizierung von Absicht und Risiko nirgends erscheint, hat die Verständnisphase nicht stattgefunden.
- Ist das prüfende Team dasselbe wie das verfassende? Wenn dasselbe Modell seine eigene Produktion gegenliest, ist die dritte Phase dekorativ. Die Prüfung muss von einem von der Abfassung getrennten System kommen.
- Wer unterschreibt, namentlich, und ist der Vorgang rekonstruierbar? Wenn die Antwort „das Team" oder „das Werkzeug" ist, unterschreibt niemand. Wenn man vom abgegebenen Satz nicht zu seinem Verfasser, seinem Prüfer und seinem Validierer zurückverfolgen kann, ist der Vorgang nicht belastbar.
Häufig gestellte Fragen
Verlangsamen die vier Phasen die Antwort? Sie fügen der Frage Zeit hinzu und nehmen sie dem Vorgang. Die verlorene Zeit ist nicht die der Abfassung; es ist die des nachträglichen Hin und Hers, wenn eine ungeprüfte Behauptung vom Kunden oder vom Auditor entdeckt wird.
Warum zwei KI-Teams statt einer leistungsfähigeren KI? Weil Leistungsfähigkeit die Unabhängigkeit nicht ersetzt. Ein fähigeres Modell, das sich selbst gegenliest, bleibt ein Modell, das sich selbst gegenliest. Die Trennung der Rollen ist eine Struktureigenschaft, keine Größenfrage.
Was passiert, wenn die beiden Teams nicht übereinstimmen? Die Uneinigkeit ist genau das, was Phase 3 gegebenenfalls hervorbringen soll. Die Antwort erhält einen niedrigen Score, die Abweichung wird benannt, und der menschliche Validierer entscheidet mit beiden Lesarten vor Augen. Eine Antwort ohne mögliche Uneinigkeit wurde nicht geprüft.
Muss der Validierer alle Antworten gegenlesen? Er liest gegen, worauf ihn Score und Abweichungen hinweisen, und unterschreibt das Ganze. Der Wachsamkeitstest garantiert, dass sein Gegenlesen real bleibt: eine absichtlich falsche, genehmigte Antwort löst einen Alarm aus.
Was geschieht mit einer Frage, die das Referenzwerk nicht zu beantworten erlaubt? Sie wird nicht verfasst. Sie wird als Lücke gemeldet, mit dem zu kontaktierenden Experten und der vor der Abgabe durchzuführenden Maßnahme. Phase 3 erzeugt diese Liste, und Phase 4 entscheidet, was damit geschieht.
Die vier Phasen live an Ihren eigenen Dokumenten erleben
Bringen Sie eine echte Ausschreibung, einen Sicherheitsfragebogen oder ein DDQ mit. Sie sehen die Klassifizierung der Fragen, die seitengenau zitierten Quellen, den Score jeder Antwort und die Abweichungsanalyse an Ihrem Dokument, keine vorbereitete Vorführung.
Zitierte Quellen
- J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song, D. Zhou, „Large Language Models Cannot Self-Correct Reasoning Yet", ICLR 2024. https://arxiv.org/abs/2310.01798
- S. Dhuliawala, M. Komeili, J. Xu, R. Raileanu, X. Li, A. Celikyilmaz, J. Weston, „Chain-of-Verification Reduces Hallucination in Large Language Models", 2023. https://arxiv.org/abs/2309.11495