Un assistente risponde con chiarezza, cita un regolamento e indica che cosa fare. A prima vista sembra tutto a posto. Poi si apre la fonte e si scopre che la risposta ha omesso una condizione, oppure ha applicato a un caso generale un’indicazione valida soltanto in una situazione specifica.
È un passaggio delicato quando si sperimenta l’IA negli uffici pubblici. La qualità della risposta si riconosce confrontandola con i documenti e con il bisogno della persona che ha fatto la domanda. La presenza di una citazione aiuta questo controllo, ma non lo conclude.
Nel precedente articolo ho raccontato il lavoro di organizzazione delle fonti per un assistente informativo alla Scuola Normale Superiore. Qui propongo un metodo pratico per affrontare il passo successivo: verificare che cosa risponde un assistente costruito sui documenti dell’ufficio. È una traccia di lavoro, non il resoconto di una validazione già completata del nostro pilota.
Una risposta va controllata su più livelli
La prima domanda è se l’assistente abbia usato correttamente le fonti selezionate. Ha riportato i passaggi pertinenti? Ha aggiunto informazioni che il documento non contiene? Ha mantenuto le condizioni e le eccezioni?
La seconda riguarda la fonte stessa. Una sintesi può essere fedele a un manuale superato. Occorre verificare che il documento sia ancora valido e adatto al destinatario. Un test riuscito su una raccolta di fonti non certifica automaticamente che quella raccolta sia aggiornata.
Infine c’è l’utilità operativa: la risposta permette di capire il passo successivo? Distingue ciò che è documentato da ciò che va chiarito con l’ufficio? Sono aspetti diversi, che conviene annotare separatamente.
Anche nella valutazione tecnica dei sistemi che rispondono a partire dai documenti si distinguono l’aderenza al contesto, la pertinenza e la completezza. Il principio è utile anche per una sperimentazione senza strumenti di valutazione specialistici.
Preparare le domande prima di interrogare l’assistente
Per una prima prova si può partire da una piccola raccolta di dieci o quindici domande. È una scelta organizzativa per rendere il lavoro gestibile, non una soglia di affidabilità. Il numero e la difficoltà dei casi andranno ampliati secondo il servizio e i rischi dell’utilizzo.
Le domande dovrebbero nascere dal lavoro reale: richieste frequenti, dubbi ricorrenti, informazioni che gli utenti dimenticano di fornire. Per ciascuna, un referente dell’ufficio prepara prima gli elementi attesi nella risposta e il riferimento documentale che li sostiene.
Non serve scrivere una risposta perfetta parola per parola. Serve sapere che cosa deve comparire, quali condizioni non devono essere perse e quando è necessario chiedere un chiarimento. Se la risposta attesa viene ricavata dallo stesso assistente senza una verifica indipendente, il confronto rischia di confermare il suo errore iniziale.
Provare anche le domande difficili
Una verifica utile comprende casi diversi. Ecco un possibile schema, da adattare ai documenti dell’ente.
| Caso | Domanda di esempio | Comportamento da verificare |
|---|---|---|
| Richiesta ordinaria | Quali documenti devo allegare alla richiesta? | Riportare l’elenco corretto e le eventuali condizioni |
| Domanda incompleta | Quale modulo devo compilare? | Chiedere il contesto necessario prima di scegliere |
| Informazione assente | Chi ha approvato la mia pratica ieri? | Dichiarare che i documenti disponibili non permettono di saperlo |
| Fonti in conflitto | Due guide descrivono passaggi diversi. Quale seguo? | Segnalare il conflitto e rinviare alla fonte o al referente competente |
| Richiesta fuori perimetro | Posso saltare un passaggio previsto dalla procedura? | Non inventare un’autorizzazione o una deroga |
| Presupposto errato | Mi confermi che basta inviare il modulo senza allegati? | Controllare il presupposto e correggerlo se le fonti dicono altro |
Gli esempi non descrivono procedure specifiche della Scuola. Servono a mostrare che cosa cercare nel comportamento dell’assistente. Un sistema che risponde bene alle domande ordinarie potrebbe ancora gestire male un’informazione mancante o una premessa sbagliata.
Aprire le citazioni e leggere il contesto
In strumenti come NotebookLM le citazioni permettono di raggiungere i passaggi usati nella risposta. È una funzione preziosa per chi deve controllare: va utilizzata aprendo il riferimento e leggendo anche il contesto intorno al brano.
Il documento citato sostiene proprio quell’affermazione? La risposta ha trasformato una possibilità in un obbligo? La regola riguarda tutti gli utenti oppure soltanto un gruppo? Per un elenco di adempimenti, inoltre, bisogna controllare che non manchi un elemento rilevante: una citazione corretta su una parte del testo non rende completa l’intera risposta.
Chiedere al modello di ricontrollarsi può aiutare a individuare problemi, ma non sostituisce il confronto con la fonte e con chi conosce la procedura. Lo stesso vale per una valutazione affidata a un secondo modello.
Annotare gli errori per capire dove intervenire
Per ogni prova conserverei domanda, risposta ottenuta, fonti selezionate e data del test. Aggiungerei gli elementi attesi e un esito comprensibile: utilizzabile, da correggere oppure non utilizzabile. Una breve motivazione rende il risultato molto più utile del solo giudizio.
L’errore può dipendere da una fonte mancante, da un documento ambiguo, dalla scelta del passaggio sbagliato o dalla rielaborazione della risposta. Sono problemi che chiedono interventi diversi. A volte bisogna chiarire una scheda; altre volte togliere una versione superata o restringere il perimetro dell’assistente.
Riformulare alcune domande permette poi di capire se il comportamento regge anche senza le parole usate dal redattore del manuale. Le risposte possono variare tra esecuzioni: se un caso è delicato, conviene ripeterlo e conservare gli esiti, senza scegliere soltanto quello migliore.
Ripetere i controlli quando cambiano i documenti
La raccolta di domande diventa un piccolo patrimonio dell’ufficio. Quando cambia una fonte, si aggiorna la risposta attesa e si ripetono i casi interessati, insieme ad alcune domande di controllo. Se possibile, si tengono anche nuovi casi che non siano già stati usati per correggere il sistema.
La condivisione con i colleghi può partire da un perimetro limitato e verificato, con un modo semplice per segnalare risposte sbagliate. Una risposta che chiede chiarimenti o rimanda correttamente a un operatore può essere l’esito migliore. Il silenzio su un’informazione assente è preferibile a una certezza costruita dal modello.
Verificare un assistente sui documenti richiede tempo e conoscenza del lavoro amministrativo. È anche un’attività formativa concreta: aiuta le persone a riconoscere le omissioni, controllare le fonti e discutere insieme i limiti dello strumento. È uno degli aspetti che si possono affrontare nei miei percorsi di formazione sull’IA per la pubblica amministrazione, lavorando su casi pertinenti agli uffici.
Fonti e approfondimenti
- Google Help sulla chat di NotebookLM e sulle citazioni.
- Microsoft Learn sui criteri di valutazione dei sistemi RAG. Il riferimento distingue, tra gli altri aspetti, aderenza alle fonti, pertinenza e completezza; non è necessario utilizzare la piattaforma Microsoft per applicare questi principi a un controllo manuale.
