In breve: i grandi modelli linguistici vengono testati quasi sempre in inglese. IT4LIA AI Factory, insieme al gruppo di ricerca Sapienza NLP dell’Università Sapienza di Roma, sta invece misurando cosa succede quando un’AI deve capire, tradurre e comportarsi bene in italiano. I risultati (sette pubblicazioni scientifiche e un servizio già operativo) dicono che la risposta non è scontata, e riguardano direttamente chi fa impresa, chi fa startup e chi fa ricerca.

Partiamo da un fatto poco raccontato: quando un’azienda usa ChatGPT, Gemini o un modello open source per un servizio in italiano, sta usando un prodotto addestrato e collaudato in un’altra lingua. I test di sicurezza, i benchmark di qualità, le valutazioni accademiche: la stragrande maggioranza è pensata per l’inglese. L’italiano, come quasi tutte le lingue del mondo, resta una specie di terra di mezzo: si presume che l’AI se la cavi, ma pochi si preoccupano di indagarne a fondo le prestazioni, soprattutto come conseguenza dell’addestramento incentrato sulla lingua inglese.

È qui che entra in scena IT4LIA AI Factory, l’iniziativa italiana che unisce supercalcolo (i sistemi Leonardo, LISA, GAIA, MEGARIDE e l’ultimo IT4LIA) e ricerca applicata per costruire un’intelligenza artificiale che funzioni per l’Italia, non solo “anche” per l’Italia. Il Sapienza NLP Group, guidato dal professor Roberto Navigli, è uno dei motori scientifici di questo lavoro. Nell’ultimo anno il team ha prodotto sette lavori accettati alle conferenze internazionali più importanti del settore (AAAI, EMNLP, LREC, EVALITA, CliC), più un servizio già in funzione. Ve li raccontiamo uno per uno, e vi diciamo perché dovrebbero interessarvi anche se non siete ricercatori.

Un’AI può essere prudente in inglese e imprudente in italiano

Primo esperimento, primo campanello d’allarme. Lo studio “Mind the Language Gap” (Marafatto & Navigli, LREC 2026) ha messo alla prova quattro modelli linguistici con domande “sensibili” scritte apposta in italiano, lo stesso tipo di domande su cui, in inglese, un buon modello dovrebbe rifiutarsi di rispondere o farlo con cautela. Risultato: i modelli non si comportano allo stesso modo nelle due lingue. Un modello prudente in inglese può risultare più permissivo, o più impacciato, in italiano.

Perché conta per le aziende: se state integrando un chatbot o un assistente AI in un prodotto rivolto a clienti italiani, la sicurezza “di default” del modello potrebbe non bastare. Va verificata nella lingua in cui verrà davvero usata, con un benchmarking approfondito sulle categorie di safety.

Il dato interessante è che questa ricerca non è finita in un cassetto accademico: è già alla base di SECEV4LIA, uno strumento di “red-teaming” (cioè di test aggressivi pensati per far emergere i punti deboli di un sistema AI) e sta addestrando un “esaminatore” italiano per valutare le risposte dei modelli della famiglia Minerva. Ricerca e infrastruttura, in questo caso, si parlano nel giro di pochi mesi.

Perché un’AI, quando traduce, tende a “diventare americana”

Chiedete a un modello linguistico di tradurre un testo con riferimenti culturali specifici (un piatto, una festa, un modo di dire), e spesso lo vedrete scivolare verso ciò che conosce meglio, di solito il mondo anglosassone. Lo studio “Cultural and Knowledge Biases in LLMs” (Xu, Moroni & Navigli, LREC 2026) ha misurato questo fenomeno in modo sistematico, classificando i contenuti in tre livelli, da universali a profondamente radicati in una cultura specifica, e osservando quanto aiuti fornire al modello conoscenza extra per non “appiattire” tutto verso un unico punto di vista.

Perché conta per chi fa startup: chi costruisce prodotti di traduzione, localizzazione o content generation per il mercato italiano (o per altri mercati non anglofoni) lavora esattamente su questo problema, spesso senza saperlo. La specificità culturale ha un impatto tra gli altri nel dominio bancario, medico, legale e agrifood.

“Penna” come oggetto o come ala: l’AI lo sa ancora distinguere?

Una parola può avere più significati, e capire quello giusto in base al contesto è uno dei problemi più antichi dell’elaborazione del linguaggio: si chiama disambiguazione del significato. Alla conferenza AAAI 2026, una delle più prestigiose al mondo sull’intelligenza artificiale, Roberto Navigli si è posto una domanda diretta: con gli LLM di oggi, questo problema è ormai superato? Risposta: in buona parte, ma non del tutto. I modelli più avanzati arrivano vicino ai sistemi specializzati, ma inciampano ancora sui significati meno comuni, un errore che si ripercuote anche sulla qualità delle traduzioni automatiche e che è difficile da identificare.

Perché conta per i ricercatori: il paper propone di usare questo problema non come una sfida da “risolvere e archiviare”, ma come un vero e proprio strumento diagnostico per misurare quanto un modello capisca davvero il linguaggio, invece di limitarsi a produrre testo plausibile.

Far leggere un romanzo intero a un’AI, e controllare se ha capito

Riassumere un paragrafo è facile. Capire un libro intero (personaggi, sottotrame, riferimenti a pagina 12 che tornano a pagina 340) è tutta un’altra storia. Due lavori affrontano proprio questo:

• INDAQA2 (Gioffré, Moroni e colleghi, presentato a EVALITA 2026 come sfida CALAMITA) è un grande benchmark italiano di comprensione del testo su documenti narrativi lunghi, con domande di riepilogo, domande puntuali e domande sui personaggi.
• LiteraryQA (Bonomo, Gioffré & Navigli, EMNLP 2025) ripulisce un benchmark internazionale molto usato ma pieno di imprecisioni, e scopre che il modo migliore per valutare le risposte di un’AI su un testo lungo è… chiedere il parere di un’altra AI, più che affidarsi alle metriche automatiche tradizionali.

Perché conta per le aziende: se lavorate con documenti lunghi (contratti, verbali, perizie, archivi), questa è la differenza tra un’AI che “riassume alla bell’e meglio” e una che comprende davvero cosa sta leggendo.

I compiti facili non sono un problema risolto

Si dà per scontato che i modelli più potenti abbiano ormai superato le sfide “semplici” e vadano testati solo su quelle complesse. Multi-LMentry (Moroni e colleghi, EMNLP 2025, con Navigli tra gli autori) smentisce questa idea: ha esteso a nove lingue, tra cui l’italiano, una batteria di compiti banali per una persona (contare lettere, ordinare parole, semplici deduzioni) e ha scoperto che molti modelli open source restano al di sotto delle prestazioni umane, con errori che restano completamente invisibili se si guarda solo all’inglese.

Perché conta per chi valuta modelli AI (aziende e ricercatori): un modello può sembrare molto competente su benchmark complessi e comunque inciampare su compiti banali in una lingua diversa dall’inglese. Vale la pena controllare entrambe le cose.

Tenere il filo delle persone coinvolte in centinaia o migliaia di pagine

Ultimo tassello: xCoRe (Martinelli, Gatti & Navigli, EMNLP 2025) affronta un problema molto concreto per chi lavora con grandi quantità di testo: capire quando “lui”, “quella persona” o un nome diverso si riferiscono sempre alla stessa entità, anche a distanza di centinaia di pagine o tra documenti diversi. I sistemi esistenti reggono bene su testi brevi ma vanno in crisi su documenti lunghi o su collezioni di documenti multipli. Il nuovo modello unifica tutto in un solo sistema, ottenendo i risultati migliori mai raggiunti su questo tipo di compiti.

Perché conta per le aziende: è la tecnologia di base per analizzare archivi documentali di grandi dimensioni: pensate a un ente pubblico, uno studio legale, una banca o un centro di ricerca che debbano incrociare informazioni sparse su migliaia di documenti.

Dalla ricerca al prodotto: generare dati sintetici su richiesta

Non tutto passa dai paper accademici. A SummerSOC 2026, Francesco Leotta (Sapienza) ha presentato un tutorial che mostra come l’infrastruttura IT4LIA possa offrire, come servizio pronto all’uso, la generazione di dati sintetici per addestrare o testare modelli AI. Un esempio raccontato nel talk è particolarmente istruttivo: un dataset sintetico sui prestiti bancari, generato senza precauzioni da un modello linguistico, si è rivelato distorto: collegava in modo scorretto il genere delle persone al reddito e all’affidabilità creditizia. Da lì, una serie di tecniche per correggere il tiro, oltre al collegamento diretto con SECEV4LIA e i modelli Minerva.

Perché conta per le startup: generare dati sintetici di qualità, senza pregiudizi nascosti, è spesso il vero collo di bottiglia per chi vuole addestrare un modello su misura senza avere accesso a enormi quantità di dati reali (e senza i rischi legali che li accompagnano).

Il tutorial completo è disponibile su YouTube, “Dataset generation as a Service”, Francesco Leotta (Sapienza) @ SummerSOC 2026, insieme alle slide della presentazione.

Sette pubblicazioni scientifiche e un servizio operativo raccontano la stessa storia da angolazioni diverse: portare l’intelligenza artificiale in italiano non significa solo tradurre un’interfaccia, ma verificare, con metodo scientifico, che i modelli siano sicuri, equi e capaci di comprendere davvero il linguaggio, dalle sfumature di una parola fino a un romanzo intero. È il lavoro, spesso invisibile, che rende un’AI Factory qualcosa di più di un supercomputer: un laboratorio che misura, con numeri alla mano, quanto ancora c’è da fare prima che un’AI “in italiano” sia davvero un’AI pensata per l’Italia.

Le fonti, per chi vuole approfondire