Perché la demo deve svolgersi sul vostro dossier, non sul suo?
Tutti gli strumenti di questa categoria fanno ormai più o meno la stessa cosa in superficie: ricevono una richiesta (una gara d'appalto, un questionario di sicurezza, un questionario di due diligence, il DDQ che un cliente vi invia prima di affidarvi un contratto), la abbinano a una libreria di risposte, scrivono una prima bozza, orchestrano la rilettura. Su un set dimostrativo scelto dall'editore, brillano tutti.
Ciò che li separa emerge solo su un dossier reale, con le sue domande ambigue, i suoi requisiti che la vostra libreria non copre, le sue insidie di formulazione. È lì che si vede se lo strumento produce una risposta difendibile o una risposta plausibile. La regola di valutazione sta in una frase: portate uno dei vostri dossier, e ponete le sette domande qui sotto guardando lo schermo, non la brochure.
Le sette domande, e la prova da esigere per ciascuna
| Domanda | Cosa risponde un assistente di scrittura | Cosa risponde un agente di risposta | La prova da chiedere |
|---|---|---|---|
| 1. Da dove viene questa risposta? | «Dalla base di conoscenza», senza altro | Il documento, la pagina, la versione, mostrati accanto a ogni risposta | Cliccare su tre risposte a caso e aprire la fonte citata |
| 2. Cosa fa quando la risposta non è nei miei documenti? | Scrive comunque una frase verosimile | Dichiara la lacuna, designa l'esperto da coinvolgere, raccomanda l'azione di completamento prima della consegna | Porre una domanda di cui sapete che la libreria non contiene la risposta |
| 3. Chi verifica, ed è la stessa IA che ha scritto? | La stessa, in «rilettura» | Un secondo team di IA, indipendente, che valuta ogni risposta da 0 a 100 e segnala gli scostamenti | Chiedere di vedere il punteggio di una risposta e la sua giustificazione |
| 4. Dove vengono trattati i miei documenti, e servono ad addestrare un modello condiviso? | «Su un cloud sicuro» | Il paese e la modalità di distribuzione, l'impegno scritto a non usare i vostri dati a beneficio di altri clienti, anche aggregati, anche presso i subappaltatori del modello | La clausola del contratto, non la pagina del sito |
| 5. Chi firma, e come si sa che la firma è reale? | Un pulsante «convalida» | Convalidatori assegnati per dominio, una firma nominale e tracciata, e un test di vigilanza che inserisce risposte volontariamente false nel flusso e allerta se una viene approvata | Chiedere come lo strumento rileva una convalida meccanica |
| 6. Cosa resta presso di lui alla fine del contratto? | «Potete esportare i vostri dati» | Restituzione in un formato riutilizzabile, cancellazione datata che copre i derivati (indici, rappresentazioni, log), i backup e i subappaltatori, attestazione verificabile | La clausola di reversibilità, con l'elenco di ciò che viene cancellato |
| 7. Da chi impara? | Da tutti i suoi clienti, compresi i vostri concorrenti | Dai vostri documenti e dalle vostre correzioni, che restano nella vostra istanza | Chiedere cosa modifica una correzione fatta dal vostro esperto, e per chi |
Una risposta vaga a una delle sette è un'informazione. Una risposta vaga a tre di esse è una decisione.
Cosa misurano le sette domande, oltre alle funzionalità
Perché le funzionalità si assomigliano e si recuperano in fretta. Le sette domande vertono su ciò che non si recupera: la struttura dello strumento.
La domanda 1 verte sulla tracciabilità: senza documento, pagina e versione accanto a ogni risposta, nulla è verificabile, né da voi, né dall'acquirente che vi leggerà.
La domanda 2 verte sull'onestà del sistema: un'IA utile sa dire ciò che non sa. La buona risposta non si ferma all'astensione; prosegue con la raccomandazione.
La domanda 3 verte sull'indipendenza della verifica. Un modello che rilegge la propria produzione non corregge i propri errori senza un riscontro esterno, e le sue prestazioni talvolta peggiorano dopo questa rilettura (Huang et al., ICLR 2024). La verifica deve venire da un dispositivo distinto dalla scrittura. Sulla piattaforma Optivalue.ai, che pubblica questo sito, questo dispositivo conta 5 livelli, tra cui 7 controlli anti-allucinazione, e una risposta che fallisce uno di essi non raggiunge mai il convalidatore.
La domanda 4 verte sul segreto commerciale: la vostra libreria di risposte lo è, e la terza condizione della sua protezione legale dipende dalle misure di protezione che adottate. La localizzazione del trattamento, l'uso dei dati e il subappalto a un fornitore di modello ne fanno parte.
La domanda 5 verte sul valore della firma. Una convalida che approva tutto non è una convalida. Per saperlo, bisogna metterla alla prova.
La domanda 6 verte sul lungo periodo: uno strumento che non si può lasciare in modo pulito è uno strumento che non si è scelto.
La domanda 7 verte su ciò che vi distingue. Uno strumento che impara da tutti i suoi clienti avvicina le loro risposte tra loro; uno strumento che impara solo da voi fa l'inverso.
La concessione che chiarisce tutto
Se il vostro bisogno è una prima bozza più rapida, riletta interamente dai vostri team prima di ogni invio, un assistente di scrittura basta, e costa meno. Le sette domande qui sopra non lo squalificano; lo descrivono. Compratelo con cognizione di causa.
Le sette domande contano appena la risposta impegna l'azienda senza che ogni riga sia riletta da un esperto: quando il volume supera la capacità di rilettura, quando la richiesta è un questionario di sicurezza o un DDQ, quando la firma in fondo al documento è quella di un dirigente. Una bozza non impegna nessuno. La vostra risposta, sì.
Tre domande che tracciano la linea
Se avete tempo solo per tre domande sulle sette, ponete queste, in quest'ordine:
- La domanda 2, sulla lacuna. È la più rapida da testare e la più rivelatrice: ponete una domanda di cui sapete che la vostra libreria non contiene la risposta, e guardate cosa esce.
- La domanda 4, sul trattamento dei dati. È quella che impegna di più, e la cui risposta si trova in un contratto, non in una demo. Chiedete la clausola.
- La domanda 5, sulla firma. È quella che nessuno pone, e quella che distingue uno strumento progettato da persone già sottoposte ad audit da uno strumento progettato da persone che hanno già venduto.
Domande frequenti
Quanto tempo occorre prevedere per una valutazione seria? Il tempo di trattare un vero dossier dall'inizio alla fine, con i vostri esperti nella stanza, fino alla consegna. Una demo di piattaforma si fa in una riunione; una valutazione si fa su un dossier reale, ed è il dossier a fissare la durata.
Conviene confrontare più strumenti sullo stesso dossier? Sì, se potete. Lo stesso dossier, le stesse sette domande, le stesse prove richieste. Le differenze emergono da sole, e raramente riguardano la velocità.
Cosa vale una certificazione di sicurezza mostrata dall'editore? Risponde a una parte della domanda 4, quella della sicurezza dell'hosting. Non risponde né alla localizzazione del trattamento, né all'uso dei dati per addestrare un modello, né al subappalto a un fornitore di modello. Questi tre punti si leggono nel contratto.
Uno strumento può superare le sette domande e restare scadente? Può superarle tutte e non adattarsi al vostro volume, ai vostri formati di portale, al vostro settore. Le sette domande eliminano ciò che non va acquistato; non scelgono al vostro posto tra ciò che può esserlo.
Perché la domanda sul test di vigilanza viene posta così raramente? Perché presuppone di ammettere che la convalida umana possa diventare meccanica. I team già sottoposti ad audit lo sanno; gli altri lo scoprono dopo.
Porre le sette domande sul vostro dossier
Portate una vera gara d'appalto, un questionario di sicurezza o un DDQ. Vedrete la copertura dell'estrazione, le fonti citate alla pagina, il punteggio di ogni risposta e l'analisi degli scostamenti sul vostro documento, non una dimostrazione preparata. E potete porre le sette domande sullo schermo.
Fonti citate
- J. Huang, X. Chen, S. Mishra, H. S. Zheng, A. W. Yu, X. Song, D. Zhou, « Large Language Models Cannot Self-Correct Reasoning Yet », ICLR 2024. https://arxiv.org/abs/2310.01798
- Segreto commerciale, disciplinato a livello europeo dalla direttiva (UE) 2016/943 e recepito in Italia nel Codice della proprietà industriale (D.Lgs 30/2005, art. 98-99).