agentic-rfp-software.ai

Begrijpen

Hoe schrijft en controleert AI-software een antwoord op een aanbesteding

AI-software voor aanbestedingsreacties werkt in vier fasen: begrijpen, schrijven, controleren, valideren. Een team schrijft, een tweede controleert, een genoemde expert ondertekent.

Waarom een aanbestedingsantwoord vier fasen doorloopt

Een aanvraag (een aanbesteding, een veiligheidsvragenlijst, een due-diligencevragenlijst, een verzoek van een auditor) komt als een blok binnen: tientallen of honderden vragen, een deadline, een handtekening aan het einde. De verleiding is om het in één keer toe te vertrouwen aan een tool die leest, schrijft en naleest. Dat is precies wat u niet moet doen.

De reden is gemeten. Een taalmodel dat zijn eigen productie naleest, corrigeert zijn redeneerfouten niet zonder externe blik, en zijn prestatie verslechtert soms na deze zelfcorrectie (Huang et al., ICLR 2024). Een AI die zichzelf naleest, bevestigt wat ze heeft geschreven. Wat de verzonnen beweringen werkelijk vermindert, is een controlemechanisme dat losstaat van het concept: controlevragen die onafhankelijk van de eerste redactie worden gesteld en beantwoord (Dhuliawala et al., 2023). De controle moet van elders komen dan van de redactie.

Vandaar de vier fasen, en hun verdeling over drie actoren die nooit worden verward.

FaseActorWat hij oplevertWat het kost om hem over te slaan
Begrijpende agent die de vraag analyseerteen lezing van de bedoeling en het risico van elke vraageen correct antwoord op een slecht gelezen vraag, dus een onjuist antwoord
Schrijvende agent van uw vakgebied en de agent van uw sectoreen antwoord getrokken uit uw referentiekader, geciteerd tot op de paginaeen aannemelijk antwoord zonder bron, of buiten context
Controlereneen tweede, onafhankelijk AI-teameen score, de afwijkingen, de actie om te verhelpeneen verzinsel dat ongewijzigd bij de ondertekenaar terechtkomt
Validereneen genoemde menselijke experteen getraceerde handtekening, een tegenwerpbaar dossiereen verantwoordelijkheid die niemand draagt

Fase 1, begrijpen: wat doet AI-software met de vraag van een aanbesteding voordat ze antwoordt?

Een slecht begrepen vraag levert een onjuist antwoord op, zelfs als de bron goed is. Dit is de meest voorkomende en minst zichtbare fout, omdat het antwoord correct lijkt.

De agent die de vraag analyseert, classificeert daarom elke vraag, vóór enige redactie, volgens vijf soorten bedoeling: feitelijk, verkennend, vergelijkend, misleidend, contractuele verbintenis. Hij herkent ook risicovolle formuleringen: absolute uitspraken ("garandeert u volledige beschikbaarheid?"), dubbele ontkenningen, impliciete verbintenissen ("bevestig dat u zich zult conformeren aan elke regelgevende ontwikkeling"). Het gedetecteerde risiconiveau bepaalt de vervolgens toegepaste behandeling: een feitelijke vraag vraagt om een citaat; een misleidende vraag vraagt om een voorzichtige herformulering en doorverwijzing naar de validator; een contractuele verbintenis vraagt om juridische nalezing vóór indiening.

Deze eerste fase is degene die schrijfhulpmiddelen bijna altijd overslaan. Zij lezen de vraag als een schrijfopdracht. De agent leest haar als een te kwalificeren risico.

Fase 2, schrijven: hoe schrijft AI-software een antwoord uitsluitend op basis van uw documenten?

Vóór elke aanvraag heeft een bibliothecarisagent de documentatie van het bedrijf gelezen (beleidsdocumenten, procedures, certificaten, reeds gevalideerde antwoorden, auditrapporten) en gestructureerd tot een bruikbaar referentiekader. Hij is degene die een voorraad heterogene bestanden omzet in een basis waarop de andere agenten bewijzen kunnen produceren.

De redactie wordt vervolgens toevertrouwd aan twee agenten die samenwerken: die van uw vakgebied en die van uw sector. Ze schrijven op basis van dit referentiekader, en alleen daarvan. Elk antwoord vermeldt zijn document, zijn pagina en zijn versie. Een antwoord dat zijn bron niet kan vermelden, is niet geschreven: het gebrek wordt gemeld, het wordt niet opgevuld met een aannemelijke zin.

Specialisatie telt evenzeer als de bron. Een vraag over maatschappelijke verantwoordelijkheid in de energiesector vraagt niet hetzelfde antwoord als een kwaliteitsvraag in de voedingsindustrie: de geciteerde referentiekaders, de verwachtingen van de lezer en het vocabulaire verschillen. Generieke AI schrijft beide op dezelfde manier. Gespecialiseerde agenten schrijven elk in hun eigen wereld.

Op het platform Optivalue.ai, dat deze site uitgeeft, mobiliseert deze tweede fase 85 gespecialiseerde agenten: 72 vakagenten, 12 sectorale agenten, en 1 bibliothecarisagent. Een vraag over bancaire compliance mobiliseert bijvoorbeeld de juridische agent en de sectorale agent financiën, samen.

Fase 3, controleren: hoe controleert een tweede AI-team een antwoord dat het niet heeft geschreven?

Een tweede AI-team, onafhankelijk van het eerste, neemt elk antwoord opnieuw door. Het beoordeelt het van 0 tot 100, controleert of elke geciteerde bron werkelijk zegt wat men haar laat zeggen, signaleert de afwijkingen tussen wat wordt beweerd en wat wordt bewezen, en beveelt de actie aan om elk gebrek te verhelpen: welk document ontbreekt, welke expert het kan leveren, vóór indiening.

Deze onafhankelijkheid is geen architecturaal comfort. Ze is de voorwaarde opdat de controle werkelijk controleert. Een team dat zijn eigen werk naleest, zoekt het te bevestigen; een team dat dat van een ander naleest, zoekt de fout. Het mechanisme telt 5 lagen, waaronder 7 anti-hallucinatiecontroles, en een antwoord dat op één daarvan faalt, bereikt de validator nooit.

Wanneer het bewijs ontbreekt, vult het tweede team de leegte niet op: het verklaart ze. En het stopt niet bij onthouding. Waar een tool zich tevredenstelt met "ik weet het niet", gaat het verder: het gebrek wordt benoemd, de juiste expert aangewezen, de actie om te verhelpen voorgesteld. Fase 3 levert zo twee dingen op: een beoordeeld antwoord, en een lijst van wat nog moet gebeuren opdat het dossier standhoudt.

Fase 4, valideren: hoe valideert een genoemde expert een antwoord op een aanbesteding?

De laatste fase is menselijk. Validators worden per domein toegewezen: juridisch valideert de contractuele verbintenissen, beveiliging valideert de controles, financiën valideert de voorwaarden. Elk antwoord draagt een goedkeuringsstatus, en de validatie is een naamgenoemde en getraceerde handtekening, tegenwerpbaar bij audit of geschil. Het hele proces is herspeelbaar: voor elke ingediende zin kan worden teruggegaan naar wie schreef, wie controleerde, welke score, wie ondertekende.

Een routinematige handtekening zou niets bewijzen. Daarom gaat een waakzaamheidstest gepaard met deze fase: opzettelijk foutieve antwoorden worden in de validatiestroom ingevoegd, en als er één wordt goedgekeurd, gaat er een waarschuwing uit. De frequentie van de invoegingen, de ontvangers van de waarschuwing en de drempel worden per organisatie ingesteld. Dit is de controle die menselijke aandacht meet in plaats van ze te veronderstellen.

De concessie die alles verduidelijkt

Voor een concept, een interne nota, een tekst die niemand zal ondertekenen, volstaat één enkele doorgang, en generieke AI doet dit snel en goed. De vier fasen dienen nergens toe voor wat niet bindt.

Ze bestaan voor het moment waarop het document het bedrijf verlaat en iemand ervoor instaat. Een concept bindt niemand. Uw antwoord wel. De scheiding van de fasen kost per vraag; het ontbreken van scheiding kost per dossier: een onjuiste bewering ondertekend door een bestuurder.

Drie vragen die de lijn trekken

Om te weten of een systeem de vier fasen werkelijk toepast, of ze alleen aankondigt:

  1. Wie heeft de vraag begrepen voordat ze werd geschreven, en waar staat dat? Als de classificatie van bedoeling en risico nergens verschijnt, heeft de begripsfase niet plaatsgevonden.
  2. Is het team dat controleert hetzelfde als dat wat schreef? Als hetzelfde model zijn eigen productie naleest, is de derde fase decoratief. De controle moet van een mechanisme buiten de redactie komen.
  3. Wie ondertekent, met naam, en is het proces herspeelbaar? Als het antwoord "het team" of "de tool" is, ondertekent niemand. Als u niet van de ingediende zin kunt teruggaan naar haar schrijver, controleur en validator, is het dossier niet tegenwerpbaar.

Veelgestelde vragen

Vertragen de vier fasen het antwoord? Ze voegen tijd toe aan de vraag, en halen tijd weg van het dossier. De verloren tijd is niet die van de redactie; het is die van de heen-en-weer achteraf, wanneer een niet-geverifieerde bewering wordt ontdekt door de klant of de auditor.

Waarom twee AI-teams in plaats van één krachtigere AI? Omdat kracht onafhankelijkheid niet vervangt. Een capabeler model dat zichzelf naleest, blijft een model dat zichzelf naleest. De scheiding van rollen is een structuureigenschap, geen kwestie van omvang.

Wat gebeurt er als de twee teams het oneens zijn? Onenigheid is precies wat fase 3 moet opleveren wanneer dat aan de orde is. Het antwoord krijgt een lage score, de afwijking wordt benoemd, en de menselijke validator beslist met beide lezingen voor ogen. Een antwoord zonder mogelijke onenigheid is niet gecontroleerd.

Moet de validator alle antwoorden naleezen? Hij leest na wat de score en de afwijkingen hem aanwijzen, en hij ondertekent het geheel. De waakzaamheidstest waarborgt dat zijn nalezing echt blijft: een opzettelijk fout antwoord dat wordt goedgekeurd, activeert een waarschuwing.

Wat gebeurt er met een vraag waarop het referentiekader geen antwoord toelaat? Ze wordt niet geschreven. Ze wordt gemeld als gebrek, met de te raadplegen expert en de actie vóór indiening. Fase 3 levert deze lijst op, en fase 4 beslist wat ermee gebeurt.

De vier fasen aan het werk zien op uw eigen documenten

Breng een echte aanbesteding, een veiligheidsvragenlijst of een DDQ mee. U ziet de classificatie van vragen, de bronnen geciteerd tot op de pagina, de score van elk antwoord en de kloofanalyse op uw document, geen voorbereide demonstratie.

Geciteerde bronnen

  • J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song, D. Zhou, "Large Language Models Cannot Self-Correct Reasoning Yet", ICLR 2024. https://arxiv.org/abs/2310.01798
  • S. Dhuliawala, M. Komeili, J. Xu, R. Raileanu, X. Li, A. Celikyilmaz, J. Weston, "Chain-of-Verification Reduces Hallucination in Large Language Models", 2023. https://arxiv.org/abs/2309.11495