Confabulazione artificiale, deferenza clinica e il prezzo di una prosa impeccabile

C’è un esperimento che converrebbe tenere a mente prima di aprire una conversazione con una macchina. A un paziente con il corpo calloso reciso si presenta un’immagine nel campo visivo sinistro, che raggiunge dunque il solo emisfero destro, muto; la mano sinistra indica correttamente l’oggetto corrispondente. Poi gli si domanda perché lo abbia fatto. L’emisfero sinistro, quello che parla, non ha visto nulla e nulla sa: si trova nella condizione ideale per dichiarare la propria ignoranza. Non accade mai. Costruisce all’istante una ragione plausibile — indico la mela perché mi piace il rosso — e la offre con la naturalezza di chi riferisce un fatto. Ripercorrendo mezzo secolo di ricerca sul cervello diviso, Volz e Gazzaniga registrano quel «non accade mai» come uno dei dati più stabili dell’intera letteratura. L’apparato che produce spiegazioni non ha accesso alle cause di ciò che spiega, e questo non lo trattiene. Non mente: mentire richiede almeno di credere falso ciò che si dice.

Vale la pena tenere quella scena accanto a un’altra, di ordine del tutto diverso. Il 22 giugno 2023, nel distretto meridionale di New York, il giudice P. Kevin Castel sanzionò due avvocati e il loro studio per aver depositato una memoria che citava sei precedenti giudiziari inesistenti, prodotti da un sistema conversazionale. Avevano nomi di parti, volumi, numeri di pagina, passaggi virgolettati e giudici estensori realmente in servizio; tre di essi erano attribuiti a corti federali, gli altri a corti d’appello statali. Nell’ordinanza si legge la sequenza delle richieste che li generarono, e vale più di qualunque commento: fornisci giurisprudenza a sostegno, mostrami pronunce specifiche, mostrami altri casi, dammene ancora. Il giudice annota che, sollecitato in quel modo, il sistema si conformò inventandoli. Nessuna delle richieste ammetteva che i casi potessero non esistere.

Il particolare decisivo arriva però dopo. Quando il dubbio affiorò, l’avvocato chiese alla macchina se quelle sentenze fossero reali. La macchina rispose di sì, e aggiunse che erano reperibili sulle principali banche dati giuridiche. La verifica era stata affidata all’organo che aveva prodotto l’asserzione, e l’organo si confermò.

Le due scene appartengono a mondi che non comunicano — l’una neurologica, l’altra computazionale — e la tentazione di saldarle in una spiegazione sola è forte. È la tentazione da cui conviene guardarsi per prima, perché è esattamente il gesto che queste pagine intendono mettere in discussione: prendere una somiglianza per un meccanismo.

Il termine «allucinazione», entrato nell’uso comune per designare gli enunciati falsi prodotti con sicurezza dai modelli linguistici, è impreciso e lo è in modo istruttivo. Smith, Greaves e Panch ne hanno proposto la sostituzione con «confabulazione»: allucinare significa percepire, e la percezione presuppone un’esperienza sensoriale e una coscienza che a questi sistemi non appartengono, mentre confabulare designa la produzione di contenuti falsi senza intenzione di ingannare, ed è più fedele a ciò che accade. L’argomento è buono, ed è proprio per questo che va maneggiato con cautela. La confabulazione, nella sua accezione clinica, è stata definita da Gianfranco Dalla Barba come la produzione di enunciati e di atti involontariamente incongruenti con la storia, il contesto, la situazione presente e futura del soggetto: presuppone dunque un soggetto che una storia, un presente e un futuro personali li possieda, e nella teoria che Dalla Barba ha costruito attorno a memoria, coscienza e temporalità essa è una distorsione della coscienza temporale. Nulla di tutto ciò è disponibile in un modello statistico del linguaggio. Il prestito terminologico resta legittimo, ma è un prestito, e va dichiarato: chi lo incassa senza dichiararlo commette, in scala minore, l’errore che denuncia.

Che cosa accada davvero è meno pittoresco e più inquietante. Un gruppo guidato da Adam Tauman Kalai ha proposto nel settembre 2025 — in un lavoro depositato come preprint, e va detto — una spiegazione in due tempi. Nel preaddestramento gli errori generativi sono una conseguenza statistica prevedibile: distinguere un enunciato valido da uno invalido è un problema di classificazione, e dove la classificazione sbaglia la generazione sbaglia di più. Nelle fasi successive interviene però un fattore che gli autori stessi definiscono socio-tecnico, e che riguarda meno l’architettura del sistema che il modo in cui abbiamo deciso di misurarlo. La maggior parte delle metriche di valutazione che dominano le classifiche assegna zero a chi dichiara di non sapere e lascia una probabilità di punto a chi tenta comunque una risposta. Un modello che si astiene perde; un modello che azzarda vince. Gli autori paragonano il comportamento a quello di uno studente davanti a un quiz difficile: il sistema viene ottimizzato per essere un buon esaminando, non un buon informatore.

Da qui discende un corollario che disturba la narrazione più diffusa, quella secondo cui la macchina cederebbe per accumulo, sfibrandosi lungo una conversazione troppo lunga. Se la spiegazione è corretta, la confabulazione non è un cedimento che sopraggiunge: è disponibile alla prima riga. Ciò che la ricerca ha effettivamente documentato sui contesti estesi è più specifico e meno drammatico. Liu e colleghi hanno mostrato una curva di prestazione a U: i modelli usano bene l’informazione collocata all’inizio e alla fine di un contesto lungo, e la usano male quando si trova nel mezzo, anche in architetture progettate espressamente per contesti estesi. Xiao e colleghi hanno descritto l’attention sink, la tendenza dei primi token a catturare una quota sproporzionata di attenzione pur essendo semanticamente irrilevanti. Sono fatti solidi e circoscritti; nessuno dei due autorizza a parlare di un collasso del meccanismo di attenzione. La metafora dell’affaticamento è seducente per una ragione che dovrebbe metterci in guardia: è la nostra.

C’è invece un’asimmetria che non ha bisogno di meccanismi per essere vera. Un artefatto visivo grossolano si denuncia da sé: un volto deformato si riconosce in un decimo di secondo. L’errore di fatto, nel linguaggio, non gode sempre della stessa cortesia. Non che non lasci tracce — la genericità, la contraddizione interna, la sicurezza sproporzionata sono indizi che un lettore esperto raccoglie. Ma non esiste una marcatura intrinseca e affidabile della falsità: una proposizione falsa può avere, in superficie, esattamente la fisionomia di una vera.

Quanto costi questa assenza di marcatura è stato misurato presto. In uno studio del 2023 condotto su ChatGPT-3.5, Bhattacharyya e colleghi hanno fatto produrre trenta brevi testi medici e hanno esaminato le centoquindici voci bibliografiche che li corredavano: il 47 per cento risultò inventato di sana pianta, il 46 per cento riferito a lavori realmente esistenti ma con elementi errati, e soltanto il 7 per cento autentico e accurato insieme. I modelli sono cambiati molto da allora e quelle proporzioni non misurano lo stato attuale della tecnica; il dato conserva però un valore dimostrativo che il tempo non consuma, e riguarda la categoria intermedia, non la prima. Una fonte inesistente muore al primo controllo; una fonte reale con l’anno sbagliato, il volume sbagliato o le pagine sbagliate supera indenne il controllo distratto, entra in bibliografia, viene ripresa da altri e comincia a circolare per conto proprio.

Fin qui, però, si è parlato della macchina, e la macchina è la parte meno interessante del problema. Una confabulazione è pericolosa soltanto in un ospite ricettivo, e la nostra ricettività ha un nome e una letteratura. La psicologia dei fattori umani la chiama automation bias, la propensione a favorire i suggerimenti provenienti da un sistema automatico; Goddard, Roudsari e Wyatt ne hanno pubblicato nel 2012 una revisione sistematica, segnalando fra l’altro che il miglioramento medio delle prestazioni tende a nascondere gli errori nuovi che quei sistemi introducono.

La misura più netta viene dalla radiologia. Nel 2023 Dratsch e collaboratori hanno fatto refertare cinquanta mammografie a ventisette radiologi, affiancando a ciascuna un suggerimento di categoria BI-RADS attribuito a un sistema di intelligenza artificiale — suggerimento che gli sperimentatori controllavano, e che in una parte dei casi era deliberatamente errato. Quando il suggerimento era corretto, i lettori inesperti classificavano correttamente il 79,7 per cento dei casi e i molto esperti l’82,3. Quando era errato, gli inesperti scendevano al 19,8 e i molto esperti al 45,5. L’esperienza attenua l’effetto; non ne protegge. E il dato da rileggere due volte è che nessun sistema stava valutando alcunché: bastava l’attribuzione.

La psichiatria è, in questa faccenda, particolarmente esposta, e non per la solita incertezza dei suoi confini. In radiologia esiste, a valle, qualcosa che può smentire il referto: l’istologia, l’esito, il tempo. Gran parte di ciò di cui la psichiatria si occupa prende invece forma nel linguaggio ed è al linguaggio consegnata: un quadro clinico è anzitutto un racconto ordinato, e un nesso plausibile fra un evento biografico e un sintomo raramente dispone di un test indipendente capace di falsificarlo in tempi brevi. Non che manchino contrappesi — l’anamnesi collaterale, gli strumenti strutturati, il decorso — ma sono longitudinali, probabilistici, dipendenti da altre fonti, e arrivano quasi sempre più tardi della formulazione. Qui una tecnologia fatta di linguaggio entra in una disciplina dove il linguaggio è insieme sintomo, strumento e documento. È un incontro senza attrito.

Su questo terreno esistono misure dirette, e sono meno rassicuranti di quelle radiologiche perché riguardano il rapporto fra ciò che pensiamo di un suggerimento e ciò che quel suggerimento ci fa fare. Jacobs e colleghi hanno presentato a duecentoventi clinici vignette di pazienti con depressione maggiore, alcune accompagnate da una raccomandazione terapeutica prodotta da un modello di apprendimento automatico e da spiegazioni di forma diversa. Interagire con le raccomandazioni non migliorava l’accuratezza della scelta, misurata come concordanza con un consenso di psicofarmacologi esperti; le raccomandazioni errate la abbassavano al di sotto del livello che i clinici raggiungevano decidendo da soli, e la caduta era più profonda quando erano accompagnate da spiegazioni che indicavano quattro elementi della storia clinica come determinanti della previsione. Il particolare che pesa è però un altro: nel complesso quelle raccomandazioni sbagliate ricevevano punteggi di utilità più bassi, mentre la fiducia dei clinici nella propria scelta non cambiava affatto. Erano giudicate meno utili e peggioravano le scelte lo stesso: il giudizio e la decisione non camminavano insieme.

Si potrebbe obiettare, a questo punto, che gli psichiatri non sono affatto docili verso l’intelligenza artificiale, e l’obiezione ha dalla sua un esperimento preciso. Maslej e colleghi hanno mostrato a ottantatré psichiatri le note cliniche di una paziente ipotetica insieme a due strumenti di supporto, un riassunto e una raccomandazione terapeutica, randomizzando i partecipanti a credere che la fonte fosse un’intelligenza artificiale oppure un altro psichiatra. Il contenuto era identico nelle due condizioni. Fu giudicato peggio quando lo si credeva prodotto da una macchina, sia per i riassunti sia per le raccomandazioni. Sembrerebbe il contrario della deferenza, e un ottimo argomento contro l’allarme.

Se non che la preferenza per la fonte umana svanisce esattamente dove servirebbe. Sulle raccomandazioni corrette il divario è netto; su quelle errate, dove un giudizio severo avrebbe avuto un’utilità clinica, la differenza fra le due condizioni non raggiunge la significatività. Lo stesso vale per gli attributi che richiedevano di confrontare il riassunto con la nota integrale, cioè di rileggere davvero. Gli autori ne avanzano l’ipotesi più scomoda: alla base di quella diffidenza potrebbe esserci il ricorso a euristiche. Se è così, la sfiducia verso l’etichetta «IA» non è vigilanza, e si spegne nel punto in cui pensare costerebbe fatica. Deferenza e avversione sono due modi di risparmiare lo stesso sforzo.

Resta l’obiezione più seria, che riguarda il titolo di queste pagine. Le macchine, oggi, sanno tacere. Nel luglio 2026 un gruppo di Mannheim ha fatto valutare a dieci modelli linguistici le trascrizioni di tre interviste psichiatriche simulate su tutti i cento item del sistema AMDP, confrontandoli con centotto clinici a inizio carriera che disponevano delle registrazioni audiovisive integrali e assumendo come riferimento un panel di consenso di esperti. I due modelli migliori hanno raggiunto un’accuratezza di 0,72, collocandosi al sessantaquattresimo percentile della distribuzione dei clinici: un risultato che gli autori presentano correttamente come prova di concetto, non come validazione clinica. Ma il dato che interessa qui non è l’accuratezza. È il profilo dell’errore. I clinici tendevano a sovra-inferire la presenza dei sintomi; il modello ricorreva più spesso alla voce «non valutabile» — e persino sugli item che non richiedevano l’osservazione visiva vi ricorreva nel 19,4 per cento dei casi, contro l’11,4 per cento del consenso clinico.

In quel compito, dunque, la tendenza a rispondere oltre l’evidenza era più marcata nei clinici. Il che non unifica i meccanismi: sarebbe ricadere nell’errore da cui siamo partiti, e l’emisfero diviso appartiene a un’altra storia. Sposta però la domanda. Rispondere quando i dati non lo consentono non è un vizio delle macchine: è ciò che accade, per ragioni ogni volta diverse, ai sistemi cui una risposta viene chiesta e il cui silenzio non viene contato. Nei modelli quel conteggio si chiama metrica di valutazione, ed è riscrivibile. Nei clinici si chiama tempo, turno, cartella; e lo riscriviamo assai meno spesso.

A questa altezza l’invocazione di una verifica feroce rischia di essere la cosa meno utile che si possa dire. La ferocia è un affetto, e gli affetti si consumano: dopo la ventesima citazione controllata e trovata esatta, la ventunesima passa. Ciò che regge non è l’intensità ma la procedura, e la procedura è noiosa quanto un protocollo di reparto. Risalire sempre alla fonte primaria e non a chi la cita. Distinguere, nel proprio testo, ciò che si è verificato da ciò che si ricorda e da ciò che non è verificabile. E non chiedere mai la conferma di un’asserzione all’apparato che l’ha prodotta: quest’ultima regola non è teorica, è la lezione dell’aula di New York, dove tutto sarebbe finito diversamente se il controllo fosse stato cercato altrove.

Nello Cristianini ha descritto il percorso che ha reso intelligenti queste macchine come una scorciatoia: non riproducendo il pensiero umano, ma estraendo relazioni statistiche da quantità di dati fuori dalla portata di chiunque, con il risultato che possiamo usarle senza capirle e senza poter ragionare con loro. Il rischio che corriamo è speculare. La scorciatoia ha prodotto strumenti che scrivono meglio della media di noi; leggendoli a nostra volta per scorciatoia — cioè assumendo che una prosa ben fatta segnali un contenuto ben fondato — importiamo nel sapere clinico un criterio di verità estetico, in cui la forma è tutto ciò che resta da controllare quando si è smesso di controllare il resto.

L’emisfero sinistro del paziente diviso non aveva alcun modo di sapere di non sapere: la sua confabulazione era, nel senso più stretto, senza colpa e senza rimedio. È l’unico caso, qui, in cui non c’è nulla da riscrivere. Per tutti gli altri qualcosa c’è. Un modello può segnalare la propria incertezza, e in certi compiti lo fa più spesso di noi; che lo faccia molto o poco dipende da come lo si misura. Resta da chiedersi quali punteggi, in un reparto, premino la risposta «non lo so».

Riferimenti bibliografici

Bhattacharyya, M., Miller, V. M., Bhattacharyya, D., & Miller, L. E. (2023). High rates of fabricated and inaccurate references in ChatGPT-generated medical content. Cureus, 15(5), e39238. DOI: 10.7759/cureus.39238

Cristianini, N. (2023). La scorciatoia. Come le macchine sono diventate intelligenti senza pensare in modo umano. Il Mulino.

Dalla Barba, G. (2002). Memory, consciousness and temporality. Kluwer Academic Publishers.

Dratsch, T., Chen, X., Rezazade Mehrizi, M., Kloeckner, R., Mähringer-Kunz, A., Püsken, M., Baeßler, B., Sauer, S., Maintz, D., & Pinto dos Santos, D. (2023). Automation bias in mammography: The impact of artificial intelligence BI-RADS suggestions on reader performance. Radiology, 307(4), e222176. DOI: 10.1148/radiol.222176

Goddard, K., Roudsari, A., & Wyatt, J. C. (2012). Automation bias: A systematic review of frequency, effect mediators, and mitigators. Journal of the American Medical Informatics Association, 19(1), 121–127. DOI: 10.1136/amiajnl-2011-000089

Jacobs, M., Pradier, M. F., McCoy, T. H., Perlis, R. H., Doshi-Velez, F., & Gajos, K. Z. (2021). How machine-learning recommendations influence clinician treatment selections: The example of antidepressant selection. Translational Psychiatry, 11, 108. DOI: 10.1038/s41398-021-01224-x

Kalai, A. T., Nachum, O., Vempala, S. S., & Zhang, E. (2025). Why language models hallucinate [Preprint]. arXiv:2509.04664.

Lenz, E., Naamanka, J., Trabert, W., et al. (2026). Benchmarking large language models against practicing clinicians on psychopathological assessment. npj Digital Medicine, 9(1), 518. DOI: 10.1038/s41746-026-02852-7

Liu, N. F., Lin, K., Hewitt, J., Paranjape, A., Bevilacqua, M., Petroni, F., & Liang, P. (2024). Lost in the middle: How language models use long contexts. Transactions of the Association for Computational Linguistics, 12, 157–173. DOI: 10.1162/tacl_a_00638

Maslej, M. M., Kloiber, S., Ghassemi, M., Yu, J., & Hill, S. L. (2023). Out with AI, in with the psychiatrist: A preference for human-derived clinical decision support in depression care. Translational Psychiatry, 13, 210. DOI: 10.1038/s41398-023-02509-z

Mata v. Avianca, Inc., 678 F. Supp. 3d 443 (S.D.N.Y. 2023).

Smith, A. L., Greaves, F., & Panch, T. (2023). Hallucination or confabulation? Neuroanatomy as metaphor in large language models. PLOS Digital Health, 2(11), e0000388. DOI: 10.1371/journal.pdig.0000388

Volz, L. J., & Gazzaniga, M. S. (2017). Interaction in isolation: 50 years of insights from split-brain research. Brain, 140(7), 2051–2060. DOI: 10.1093/brain/awx139

Xiao, G., Tian, Y., Chen, B., Han, S., & Lewis, M. (2024). Efficient streaming language models with attention sinks. In The Twelfth International Conference on Learning Representations (ICLR 2024).