Professore Stefano Zanero, lei è ordinario di cybersecurity al Politecnico di Milano, il Financial Times racconta di uno studio dell’Istituto estone della Lingua che ha valutato 60 modelli di intelligenza artificiale sulla capacità di riconoscere e contrastare la propaganda russa. Mistral, considerato il principale progetto europeo di AI generativa e uno dei pochi grandi modelli open source occidentali, si è classificato al 47° posto. Tutte le versioni testate hanno ottenuto meno del 40% di efficacia nell’identificare contenuti propagandistici. Cosa ne pensa?
Non sono particolarmente sorpreso. Bisogna ricordare che i modelli linguistici non sono progettati per distinguere il vero dal falso. Ma per generare testi plausibili sulla base dei dati con cui sono stati addestrati. Molto spesso producono risposte corrette, ed è una delle caratteristiche più sorprendenti di questa tecnologia, ma il loro obiettivo non è verificare i fatti. Per questo motivo bisogna interpretare con cautela classifiche che misurano la loro capacità di riconoscere la propaganda o stabilire che cosa sia vero. Stiamo valutando sistemi che non sono nati per fare questo mestiere.
Però in questo studio alcuni modelli sembrano cavarsela molto meglio di altri. Da cosa dipende?
I grandi modelli come GPT o Claude dispongono di molti più parametri, di una quantità maggiore di dati e di investimenti enormemente superiori rispetto ai modelli open source. In generale, più un modello è grande e più a lungo viene addestrato, migliori tendono a essere le sue prestazioni. Detto questo, bisogna essere prudenti nel leggere questi risultati. Se prendessimo gli stessi modelli e li testassimo su un compito diverso, per esempio valutare se la soluzione di un tema d’esame è corretta oppure no, probabilmente otterremmo classifiche differenti. Per questo non sorprende che i grandi modelli proprietari performino meglio in molti test, ma bisogna evitare di trarre conclusioni troppo generali da una singola misurazione.
Quindi il problema non è specifico di Mistral?
Non necessariamente. Più che di Mistral, parlerei di una differenza di scala. I grandi modelli proprietari americani beneficiano di investimenti enormi, di una potenza di calcolo superiore e di quantità di dati molto maggiori. È normale che, in media, ottengano risultati migliori in molti benchmark. Ogni nuova generazione migliora rispetto alla precedente proprio perché vengono impiegate più risorse economiche e computazionali. Mistral va confrontata tenendo conto di questo contesto. Il punto non è tanto che Mistral faccia male, ma che compete con sistemi sui quali sono stati investiti capitali e risorse di un ordine di grandezza diverso.
Ma questo gap è destinato a restare?
Il modello open di oggi funziona più o meno come funzionava Claude o ChatGPT sei mesi fa. E la domanda diventa: tutti i miliardi spesi per addestrare questi modelli come rientrano, se tra nove mesi un modello open funziona quasi uguale? Se devo scegliere tra pagare tremila euro al mese ad una delle Big Tech dell’Ai o usare il mio modello personale che funziona un filo meno bene, capisce che comunque c’è una possibilità di competizione. Non lo dico solo io, lo dicono economisti che studiano questa cosa: in un mondo dove chi ha speso così tanto non può difendere del tutto il proprio vantaggio, non è detto che riesca a ritornare sull’investimento. Ed è significativo che Anthropic e OpenAI lo sappiano: stanno puntando a diventare la nuova generazione di Big Tech, si stanno quotando in borsa, cercano centomila altre linee di business. Faranno esattamente quello che hanno fatto Google e Facebook: chi non sarà più sufficiente con il solo modello fondazionale, troverà altro. O fallirà. È una maratona, non è uno sprint.
Quindi per un governo o un’istituzione europea, ha senso puntare su un modello open source?
Dipende dall’uso che ne vuoi fare. Se lo usi come filtro sulla propaganda, le prestazioni attuali sono insufficienti. Ma essendo open, puoi fare un raffinamento dell’addestramento specializzandolo proprio per quel tipo di contenuto. Il modello fondazionale magari lo fa già meglio perché è stato addestrato su una quantità enorme di dati, ma in cambio ti chiede di fidarti completamente del fornitore.
In che senso fidarsi è un problema?
Non puoi ispezionare il codice, non controlli quando viene aggiornato. E soprattutto non puoi escludere quello che nel gergo della sicurezza informatica chiamiamo troianizzazione: chi ti garantisce che un modello commerciale non contenga una backdoor che si attiva con una parola chiave specifica? Con un modello open source puoi ispezionarlo per questi problemi. Con un modello fondazionale non puoi. In certi contesti affidarsi a un fornitore va benissimo, in certi altri, pensiamo a una pubblica amministrazione o a un’organizzazione di sicurezza, magari non va bene. L’open source è uno dei pochi modi con cui il tessuto industriale europeo può costruire una capacità propria nell’AI. Altrimenti l’alternativa non ce l’abbiamo, e questa è una situazione in cui non ci vogliamo trovare.
Quindi in pratica, se sono il ministero della Difesa francese, una scuola estone o una piccola azienda manifatturiera tedesca che lavora su dati sensibili, ha senso affidarsi a un modello open source invece che a una BigTech?
Offrono il vantaggio di poter essere addestrati sul nostro specifico task, specializzati, possiamo portarli in casa. Se io sono un’azienda che lavora su cose sensibili, ovviamente non le posso consegnare mani e piedi ad Anthropic o a OpenAI: mi devo sviluppare un modello interno e quindi devo usare il modello open source. Ha delle performance peggiori? Vabbè pazienza, è un scelta rispetto al fatto di poterlo controllare io. In questo senso i modelli open source sono uno dei modi con cui nell’Unione Europea le nostre startup o le nostre aziende che si occupano di AI possono fare catch up, cioè recuperare il ritardo, con gli Stati Uniti. Perché alla fine i giganti che stanno facendo addestramento sono quelli lì, e non ci sono proprio i soldi per farne altri.
Il Washington Post ha raccontato che la Russia ha costruito una rete di siti, la cosiddetta rete Pravda, che produce migliaia di articoli al giorno non per essere letti dagli esseri umani, ma per essere scansionati dai crawler che alimentano i modelli AI. Una strategia che qualcuno ha definito LLM grooming. Questo tipo di attacco riguarda solo i modelli open source come Mistral, o colpisce tutti?
Colpisce tutti, perché il meccanismo di attacco non sfrutta una debolezza specifica dell’open source. I grandi modelli fondazionali vengono addestrati aspirando contenuti da tutto il web, e in quel processo si importano inevitabilmente anche contenuti falsi o manipolati. Se una narrativa è sufficientemente presente online, il modello tende ad assorbirla come normale, indipendentemente dal fatto che sia open o closed. Il problema diventerà sempre più serio man mano che questi modelli entreranno nei processi decisionali di governi, aziende, istituzioni. A quel punto la capacità di iniettare contenuti nei dataset di addestramento, quello che in gergo tecnico chiamiamo data poisoning, diventa un vettore di attacco strategico, non solo uno strumento di propaganda. Non stai più cercando di convincere un lettore, stai cercando di condizionare l’infrastruttura cognitiva su cui si baseranno decisioni reali.
Quindi alla fine, l’Europa ha ancora una chance?
Sì, ma bisogna essere onesti su cosa significa competere. Il risultato dello studio sulla propaganda non è sorprendente: i modelli open sono meno addestrati, e si vede. Ma il punto non è questo. Il punto è che l’Europa ha bisogno di un’alternativa, non di una scusa per non costruirla. L’open source è uno dei pochi strumenti con cui il nostro tessuto industriale può sviluppare una capacità propria nell’AI, senza dipendere interamente da chi ha già vinto la prima fase della corsa. Non significa rinunciare ai modelli americani dove servono. Significa che se un giorno decidono di cambiare le condizioni, di alzare i prezzi, di bloccare l’accesso, noi dobbiamo avere qualcosa in mano. Altrimenti non ce l’abbiamo, e questa è una situazione in cui non ci vogliamo trovare.
#Adessonews seleziona nella rete articoli di particolare interesse.
Se vuoi leggere l’articolo completo clicca sul seguente link
di Adele Sarno
Source link
