Perché non puoi fidarti del tutto dei detector di testo AI

by Luigi "Gigio" Rancilio

Questo articolo si basa su centinaia di fonti. Se avessi dovuto cercarle io, una per una, avrei avuto bisogno di settimane. Ma, siccome avevo già in testa l’articolo che volevo scrivere e mi servivano soltanto casi di studio da poter citare, li ho fatti cercare dall’intelligenza artificiale.

Detto così, sembra semplice. In realtà ho dovuto scrivere un prompt, cioè una serie di comandi da dare all’intelligenza artificiale per fare la ricerca che volevo, di quasi 50 righe. Se ti interessa studiarlo o anche solo vuoi copiarlo, ti basta cliccare suquesto link.

Era da un po’ che avevo in testa questo lavoro. In particolare, da quando, nell’ottobre del 2025, avevo lettoquesto studio della Cornell Universitysu quanto fosse diffuso l’utilizzo dell’intelligenza artificiale nei giornali americani «e raramente reso pubblico».

Lo studio conteneva una critica molto feroce, non solo ai giornali locali americani, ma anche alle testate più prestigiose. «Abbiamo analizzato un ampio dataset di 186.000 articoli tratti dalle edizioni online di 1.500 quotidiani americani, pubblicati nell’estate del 2025. Utilizzando Pangram, un rilevatore di IA all’avanguardia, abbiamo scoperto che circa il 9% degli articoli di recente pubblicazione è parzialmente o totalmente generato dall’IA. Abbiamo inoltre analizzato 45.000 articoli di opinione delWashington Post, delNew York Timese delWall Street Journal, riscontrando una probabilità 6,4 volte maggiore di contenere contenuti generati dall’IA rispetto agli articoli di cronaca delle stesse pubblicazioni, con molti articoli di opinione scritti da personaggi pubblici di spicco risultati come generati dall’IA».

So già cosa starai pensando. Se sei convinto che i giornalisti usino l’IA, dirai: ecco la conferma. Se sei più scettico, penserai: ma davvero è possibile che gli editoriali delNew York Timessiano scritti con l’IA? La risposta è che ognuna di queste riflessioni ha in parte ragione, e in parte torto. Perché il vero problema non è quanti giornalisti usino l’AI, ma quanto possiamo fidarci degli strumenti che usiamo per scoprirlo.

Abbiamo un problema (ma non è quello che pensi)

Se hai letto il titoletto qui sopra, hai pensato subito al problema dei giornalisti che usano l’intelligenza artificiale per scrivere testi. In realtà il vero problema è un altro. Ci stiamo abituando a fare copia e incolla di un testo in un AI detector, a schiacciare un bottone e a credere di aver scoperto la verità. Il problema è che il numero che appare nel responso, per esempio “67% AI-generated” oppure “94% human”, non è del tutto affidabile. Ci sono sistemi che funzionano meglio di altri, certo, ma la questione di fondo resta. Tanto più adesso che gli AI detector possono essere usati per rovinare la carriera di una persona.

La promessa che il mercato sta vendendo

I detector di testo AI sono strumenti software che analizzano un testo e restituiscono una stima della probabilità che sia stato scritto, in tutto o in parte, da un sistema di intelligenza artificiale generativa. Nomi come Turnitin, GPTZero, Copyleaks, Originality.ai, Winston AI, ZeroGPT e Pangram sono diventati famosi, utilizzati da insegnanti, scuole, editori e aziende.

Il mercato è tutt’altro che marginale. Turnitin è stata acquisita nel 2019 per circa 1,75 miliardi di dollari. GPTZero ha raccolto 10 milioni di dollari nel 2024. Pangram ha raccolto 4 milioni nel 2025. Copyleaks aveva già raccolto 6 milioni nel 2022. Non è un settore sperimentale ma ormai maturo, con un potenziale di business in crescita.

Tant’è vero che ognuno di questi software ha il suo slogan, che gioca normalmente sulla più alta percentuale di accuratezza e sulla più bassa, o nulla, percentuale di falsi positivi. Winston AI parla di “99,98% accuracy”. GPTZero di “99%”. Originality.ai arriva a scrivere, in alcune sezioni del proprio sito, “No False Positives”. Pangram allinea le stesse cifre altissime.

Ma come funzionano (davvero) questi strumenti

Diciamo subito che non leggono le bozze, non leggono le note, non leggono i passaggi di editing e non leggono la storia delle revisioni di un testo, ma soltanto ciò che incolliamo nelle loro finestre. A quel punto cercano pattern statistici, cioè regolarità, strutture o tendenze ricorrenti all’interno di un insieme di dati.

I principali meccanismi che usano sono due. Il primo è l’analisi della “predicibilità” del testo: strumenti come GPTZero misurano la perplexity, cioè quanto una sequenza di parole sia prevedibile per un modello linguistico, e la burstiness, cioè quanto vari il ritmo delle frasi. L’idea che li muove è che i testi AI tendano a essere più prevedibili e omogenei. Il secondo meccanismo è la classificazione supervisionata: i modelli vengono addestrati su frammenti di testo etichettati come umani o generati dall’intelligenza artificiale. Quando incolliamo un testo, lo analizzano e, in base a ciò che conoscono, restituiscono la loro percentuale di probabilità.

È qui che nasce il problema. Questi strumenti non misurano quanto testo è stato scritto dall’intelligenza artificiale nel senso comune del termine, ma quanto un certo modello, con certe soglie, ritiene che alcune porzioni del testo assomiglino a esempi di intelligenza artificiale presenti nel suo addestramento. Si tratta di una stima statistica che dipende dal modello, dalla lingua, dalla lunghezza del testo e da decine di altri fattori.

Un esempio concreto aiuta. Turnitin, uno dei più usati nelle università, non funziona in modo affidabile su poesia, script, codici, tabelle, elenchi puntati o testi troppo brevi. In altre parole: il numero che appare non copre tutto il testo, non vale per tutti i formati, e sotto una certa soglia lo stesso vendor preferisce non mostrarlo.

I falsi positivi non sono eccezioni

La maggioranza degli studi, pur realizzati da equipe diverse, in periodi diversi e con metodi diversi, arriva alla stessa conclusione: questi sistemi funzionano in scenari controllati, ma degradano non appena il testo esce dal laboratorio.

Lo studio dell’Università di Stanford ha dimostrato che sette detector classificavano come AI il 61% dei saggi del TOEFL, il test scritto di inglese accademico per studenti non madrelingua. La spiegazione è che molti sistemi imparano ad associare un lessico più semplice e frasi più prevedibili alla “scrittura AI”. Ma questo profilo coincide spesso con il modo di scrivere di chi usa l’inglese come seconda lingua, o con chi usa uno stile più diretto.

Lo studio di Weber-Wulff e colleghi, pur essendo del 2023, è considerato uno dei test più ampi disponibili. Ha valutato 12 strumenti pubblici e 2 commerciali. I risultati sono netti: anche con la classificazione più severa, i migliori tool restano sotto l’80% di accuratezza. La traduzione automatica da sola fa crollare l’accuratezza di circa 20 punti. Le conclusioni degli autori sono esplicite: questi sistemi non dovrebbero essere usati come prova di un comportamento scorretto.

Il benchmark RAID del 2024, ancora più ampio con oltre 6 milioni di generazioni, 11 modelli e 8 domini, aggiunge un elemento decisivo: i detector sono facilmente ingannabili. Tecniche banali come togliere articoli, introdurre errori ortografici casuali o sostituire lettere con caratteri simili possono già mandare in crisi la maggior parte dei sistemi.

Il costo umano dei falsi positivi

Alla Johns Hopkins University, un docente ha rivelato pubblicamente che Turnitin aveva etichettato come AI oltre il 90% del paper di uno studente. Ma non era vero. In Australia un’università ha avviato nel 2024 circa 6.000 procedimenti disciplinari basati su analisi AI. Eppure, secondo un’inchiesta di ABC, molti studenti non avevano fatto nulla di scorretto. Un’inchiesta del Guardian ricorda che perfino punteggi bassi del detector non impediscono l’avvio di procedimenti, con ricadute pesanti sulla vita degli studenti.

Per il mondo editoriale, il caso più emblematico è quello del romanzo “Shy Girl”, il cui lancio statunitense è stato bloccato dall’editore Hachette dopo polemiche alimentate anche da analisi dei detector. Basta mettere in circolazione l’analisi negativa di un detector per danneggiare la reputazione di una persona, prima ancora che vengano effettuati accertamenti robusti.

Un altro bel problema

Più il mercato dei detector cresce, più chi vende questi sistemi promette certezze, anche se gli studi documentano un livello di incertezza strutturale. Eppure, gli stessi sistemi che dichiarano tassi di accuratezza altissimi poi precisano, nel piccolo, che i loro risultati non andrebbero utilizzati come base unica per giudicare il lavoro di una persona. Non credo sia un caso che OpenAI abbia prima lanciato un proprio sistema di rilevamento nel 2023 e poi lo abbia ritirato, dichiarando che presentava una bassa accuratezza.

C’è poi un paradosso. Sempre più spesso questi strumenti non vengono acquistati per scoprire frodi, ma per evitare di essere scambiati per chi le commette. Agenzie, freelance, editori li usano per controllare i propri testi prima di pubblicarli, non quelli degli altri. In pratica: passo il mio articolo nel detector, vedo se “sembra AI”, e se sì, lo riscrivo finché non supera il test. Il detector smette di essere uno strumento di verifica e diventa un correttore di stile. Non certifica l’autenticità di un testo. Certifica che quel testo è abbastanza imprevedibile da non sembrare generato da una macchina. Che non è la stessa cosa.

C’è un’ultima cosa che rende tutto ancora più complicato: ci sono ancora troppo pochi studi indipendenti su questi sistemi, e molti dei risultati sbandierati dai software sono di fatto basati su dati autogenerati. Gli studi sulle lingue diverse dall’inglese rappresentano ancora una minoranza.

Quali sono i più solidi e quali i più controversi

Schede comparative dei principali AI detector testuali

Legenda affidabilità

Relativamente solidoevidenza indipendente disponibile   Mistoperformance vs marketing discutibile   Più controversoclaim alti, evidenza debole o bias noti

Trasparenza metodologica

AltaMediaBassa
Pangram
Scuole · enterprise · publisher · media
Relativamente solido
Claim commerciale
99,98% accuracy
Trasparenza
Technical report pubblico · studio Univ. Chicago
Punti di forza
Buona robustezza su testi umanizzati e brevi; supera gli altri commerciali nello studio di Chicago nelle condizioni più severe
Limiti emersi
Attore recente; alcune applicazioni in casi pubblici ad alta visibilità si sono rivelate controverse
Critica principale
Anche il detector tecnicamente più solido può essereculturalmente pericolosose il suo output viene trasformato in sentenza pubblica.
Originality.ai
SEO · publishing · education · team
Relativamente solido
Claim commerciale
99%+ · “No False Positives”
Trasparenza
Documentazione ampia, spesso auto-prodotta
Punti di forza
Ottima performance nel benchmark RAID su testi non avversariali; plugin Chrome/WordPress; writer replay
Limiti emersi
Può mancare testi ibridi o umanizzati; formula “No False Positives” non allineata alla letteratura
Critica principale
Controverso neltono del marketingpiù che nella performance reale. Quando un vendor usa “no false positives”, il rischio di overselling è strutturale.
GPTZero
Education · recruiting · publishing · API
Relativamente solido
Claim commerciale
99% accuracy
Trasparenza
Technology page, API, supporto a ricerca esterna
Punti di forza
Analisi a livello documento, frase e parola; misure perplexity e burstiness; modello a 7 componenti
Limiti emersi
Testi brevi e molto editati restano difficili; partnership istituzionali in un campo ancora fragile
Critica principale
Marketing molto assertivo rispetto a un’evidenza ancora variabile. In RAID mostrarobustezza migliore di altrisu certi attacchi, ma non raggiunge Pangram nei test di Chicago.
Turnitin
Scuole · università · iThenticate
Misto
Claim commerciale
Testo “likely AI-generated”
Trasparenza
Documentazione d’uso ampia · modello chiuso
Punti di forza
Architettura transformer; integrazione LMS; evidenziazione per frasi; grande scala operativa
Limiti emersi
Richiede min. 300 parole; non affidabile su poesia, codice, bullet point; punteggi 1-19% nascosti per ridurre falsi positivi
Critica principale
Il maggiore impatto sociale del settore: milioni di studenti, integrazione istituzionale,falsi positivi documentati. Lo stesso vendor dice che non va usato come base unica per sanzioni.
Copyleaks
Editori · scuole · aziende · HR
Misto
Claim commerciale
Content integrity per education, editorial, enterprise
Trasparenza
Dichiara accuracy, ROC-AUC, F1, TNR · motore chiuso
Punti di forza
Uno dei pochi a dichiarare metriche dettagliate pubblicamente; ampia offerta API/enterprise
Limiti emersi
Evidenza indipendente pubblica più limitata del marketing; poco chiaro su testi ibridi o attacchi avversariali
Critica principale
Brand forte sul piano commerciale conevidenza reale più limitatadi quanto suggerisca il posizionamento. Non tra i migliori dimostrati, non tra i ciarlatani.
Winston AI
Education · SEO · writers · API
Più controverso
Claim commerciale
99,98% accuracy
Trasparenza
Documentazione prevalentemente commerciale
Punti di forza
Molte lingue; certificato HUMN-1; report condivisibili; forte su paraphrase e humanizer detection
Limiti emersi
Test consumer hanno mostrato falsi allarmi su testo umano; evidenza indipendente scarsa
Critica principale
Accuratezza eccezionale proclamata ma poco corroborata da benchmark indipendenti. Marketing costruito anchesulla paura di penalizzazioni SEOda parte dei motori di ricerca.
ZeroGPT
Consumer · education · business · API
Più controverso
Claim commerciale
Metodo multi-stage per ottimizzare accuracy
Trasparenza
Alta opacità metodologica
Punti di forza
Accessibilità, prezzo freemium, grande diffusione nel mercato consumer
Limiti emersi
Risultati più deboli nei benchmark indipendenti; problemi nel tenere bassa la percentuale di falsi positivi; difficoltà con testi in lingue non inglesi
Critica principale
Molto visibile nel mercato consumer,poco trasparente e con evidenza comparativa debole. Tra i brand più discussi nei test indipendenti.

I tool che oggi mostrano evidenze tecniche relativamente solide sono Pangram, Originality.ai e GPTZero, con gradi diversi di prudenza. Pangram è quello più interessante sul piano strettamente tecnico: uno studio dell’Università di Chicago del 2025-2026 lo pone davanti agli altri. Originality.ai ha mostrato buone prestazioni e c GPTZero mostra una robustezza migliore di altri su alcuni test comparativi.
Da ciò che ho trovato, «sul versante dei più controversi, Turnitin è il primo, non perché sia il peggiore in assoluto, ma perché è quello con il maggior impatto sociale, Visto che viene usato da moltissimi studenti, istituzioni, autorità e falsi positivi documentati, risultati contestati e critiche all’opacità del suo modello. Segue ZeroGPT, molto noto al grande pubblico ma tra i più deboli per trasparenza e solidità comparativa. Winston AI è discusso per l’enormità del claim di accuratezza a fronte di evidenza indipendente ancora scarsa. Il caso Pangram, infine, è emblematico per una ragione precisa: ha una delle evidenze tecniche migliori tra i commerciali, ma è anche al centro di alcune controversie pubbliche proprio perché è stato usato per “certificare” casi editoriali ad alta visibilità. È la prova che anche il detector migliore può essere epistemicamente solido in un benchmark e culturalmente pericoloso se il suo output viene trasformato in sentenza pubblica».

Sul versante dei più controversi, il primo nome è Turnitin, non perché sia il peggiore in assoluto, ma perché ha il maggior impatto sociale: viene usato da milioni di studenti e istituzioni, ha falsi positivi documentati e il suo modello è opaco. Segue ZeroGPT, molto noto al grande pubblico ma tra i più deboli per trasparenza. Winston AI è discusso per un claim di accuratezza enorme, a fronte di evidenze indipendenti ancora scarse. Il caso Pangram resta emblematico: ha una delle evidenze tecniche migliori tra i commerciali, ma è anche al centro di controversie pubbliche perché è stato usato per “certificare” casi editoriali ad alta visibilità. È la prova che anche il detector migliore può risultare solido in un test e pericoloso se il suo output viene trasformato in una sentenza pubblica.

Cosa significa tutto questo per giornalisti e comunicatori

Le policy di Associated Press e Reuters sono istruttive. AP tratta l’output generativo come materiale non verificato e indica che in caso di dubbio sull’autenticità non va usato. Reuters dichiara che quando si affida in modo primario o esclusivo all’AI per produrre contenuti, lo segnala esplicitamente. Non c’è, in queste policy, alcuna fiducia salvifica nel punteggio dei detector. Il focus resta sulla responsabilità delle persone, la verifica delle fonti e l’editing umano.

Molti detector tendono a segnalare come “AI-like” la prosa più prevedibile, lineare o di minor complessità lessicale, e così rischiano di penalizzare testi onesti ma sobri, tradotti o scritti da non madrelingua. Nel mondo scolastico sappiamo bene che alcuni studenti già passano i propri testi in strumenti di “umanizzazione” per evitare di essere scoperti.

Vale però anche il contrario, ed è forse il punto più importante: un detector non verifica i fatti. Può giudicare “umano” un testo falso, inventato o pieno di allucinazioni. Può giudicare “AI” un testo umano ben documentato. Per una redazione, questo significa che l’autenticità stilistica non può sostituire la verifica di citazioni, fonti, dati, cronologia e responsabilità autoriale.

L’alternativa

I detector testuali possono essere usati al massimo come segnali deboli in un processo di verifica più ampio. Diventano fallaci quando il loro output viene presentato come prova di autorialità, come misura percentuale reale del contributo dell’AI, o come scorciatoia per decisioni editoriali, scolastiche o reputazionali.

L’alternativa più seria ai punteggi percentuali non è un detector miracoloso da inventare. È una combinazione di governance, tracciabilità e responsabilità professionale. In concreto: policy editoriali esplicite sull’uso dell’AI, tracciamento delle bozze e dei materiali di lavoro, controllo delle fonti primarie, confronto tra versioni, disclosure dell’uso dell’AI quando è materialmente rilevante, audit periodici sui tool adottati in redazione.

La distinzione tra uso lecito e uso improprio dell’AI

L’uso lecito dell’AI comprende brainstorming, trascrizione, supporto alla sintesi di materiali interni, assistenza grammaticale, proposte di titoli e supporto analitico, a patto che il giornalista o l’editor verifichi quanto pubblicato e dichiari l’uso dell’AI quando è rilevante. L’uso improprio è un’altra cosa: generare passaggi sostanziali di reportage o opinione senza disclosure e senza controllo umano, inserire citazioni o fatti non verificati, ripulire un testo generato dall’AI con editing minimo per farlo sembrare umano, o usare un detector come prova conclusiva contro collaboratori e autori.

È sbagliato dire che i detector siano inutili. Ma il numero che appare dopo aver premuto il pulsante non è una misura perfetta: è una stima statistica che dipende dal modello, dalla lingua, dal formato e da decine di altri fattori. Usarla come una prova è un errore metodologico. Venderla come certezza è un problema deontologico.

Per noi giornalisti e per chi fa comunicazione, la domanda giusta non è “quanta intelligenza artificiale è stata usata per creare questo testo?”, ma “chi è responsabile di ciò che viene pubblicato, com’è stato verificato e come viene dichiarato ai lettori?”.


Fammi una ricerca approfondita per supportare la riscrittura di un articolo rivolto a giornalisti e comunicatori sui limiti dei sistemi che dichiarano di rilevare, in un testo, la percentuale di contenuto generato con l’intelligenza artificiale, con l’obiettivo di dimostrare quanto questi strumenti siano fallaci, quali interessi economici sostengano il loro mercato, quali siano i prodotti ritenuti più efficaci e quali quelli più discussi, e quali conseguenze stiano producendo sulla qualità dell’informazione e del giornalismo.

Ho bisogno di sapere:

  • come funzionano, in termini pratici e metodologici, i principali AI detector testuali e quali metriche dichiarano di usare
  • quali sono i principali limiti tecnici di questi sistemi, con particolare attenzione a falsi positivi, falsi negativi, scarsa affidabilità su testi brevi, testi editati da umani, traduzioni, contenuti non in inglese e scrittura di persone non madrelingua
  • quali studi, test indipendenti, benchmark, paper accademici, analisi giornalistiche o verifiche empiriche abbiano messo in dubbio l’accuratezza di questi strumenti
  • casi concreti in cui testi umani siano stati etichettati come scritti dall’AI, con eventuali conseguenze reputazionali, editoriali, scolastiche o professionali
  • quali aziende, piattaforme o prodotti dominano questo mercato e quali promesse commerciali fanno a editori, scuole, aziende o professionisti
  • quali modelli di business ci siano dietro questi prodotti (abbonamenti, licenze B2B, integrazioni per newsroom, servizi per scuole o HR, consulenza, API)
  • quali siano i detector più considerati efficaci secondo recensioni, test comparativi o fonti affidabili, distinguendo tra reputazione commerciale ed evidenza reale
  • quali siano invece i detector più controversi o discussi, e per quali motivi specifici (accuratezza contestata, marketing aggressivo, opacità metodologica, bias linguistici, controversie pubbliche)
  • se esistano conflitti tra il modo in cui questi strumenti vengono venduti e il livello di affidabilità effettivamente dimostrato
  • quali effetti stia producendo l’uso di questi strumenti sul lavoro giornalistico: sfiducia verso i collaboratori, pressione a dimostrare l’autenticità della scrittura, semplificazione dei processi editoriali, possibili errori nella verifica delle fonti o nella valutazione dei testi
  • quali ricadute ci siano sulla qualità dell’informazione: rischio di premiare testi “detector-friendly” invece di testi ben scritti, impoverimento dello stile, standardizzazione linguistica, autocensura, perdita di fiducia tra redazioni e autori
  • come giornalisti, editori, comunicatori ed esperti di media ethics stanno discutendo il tema
  • eventuali linee guida, best practice o approcci alternativi più seri per valutare l’uso dell’AI nei contenuti editoriali, senza affidarsi ciecamente a score percentuali
  • differenze tra uso lecito di AI come supporto alla scrittura, editing o brainstorming e uso improprio o ingannevole nella produzione di contenuti giornalistici
  • quali citazioni, dati, esempi e fonti autorevoli possano sostenere un articolo argomentativo forte ma equilibrato

Nel report finale voglio:

  • una tabella comparativa dei principali AI detector con nome del prodotto, promessa commerciale, contesto d’uso, punti di forza dichiarati, limiti emersi, livello di trasparenza e principali critiche
  • una distinzione chiara tra i detector considerati più efficaci e quelli più discussi, spiegando su quali evidenze si basa questa classificazione
  • una raccolta di casi, test e studi sui falsi positivi, con particolare evidenza per i casi utili a un pubblico giornalistico
  • una sezione dedicata al business dietro questi prodotti, con analisi del posizionamento di mercato e degli incentivi economici che alimentano la loro diffusione
  • una sezione finale sulle ricadute per informazione e giornalismo, con riflessioni pratiche su credibilità, qualità editoriale, processi redazionali e rapporto tra tecnologia e responsabilità professionale
  • conclusioni operative che mi aiutino a scrivere un articolo con un taglio critico, ben documentato e adatto a un pubblico di giornalisti e comunicatori, indicando anche i messaggi chiave più forti da sostenere e le eventuali cautele per evitare toni sensazionalistici o poco fondati

You may also like