Ecco Minerva 7B, il nuovo LLM italiano è più potente e basato su fonti aperte

Addestrato con 1,5 trilioni di parole, punta ad alzare lo standard di sicurezza dei large language model italiani. Alla Sapienza di Roma è stato presentata nella mattinata del 26 novembre l’ultima versione della famiglia Minerva, il modello linguistico di intelligenza artificiale dell’ateneo capitolino. Per la precisione, è il 7B ed è stato sviluppato nel contesto del progetto FAIR (Future Artificial Intelligence Research) in collaborazione con Cineca, che ha reso disponibile il supercomputer Leonardo.

I Minerva sono LLM addestrati “da zero” per la lingua italiana. Realizzato dal gruppo di ricerca Sapienza NLP (Natural Language Processing), guidato da Roberto Navigli – professore ordinario di elaborazione del linguaggio naturale al dipartimento di Ingegneria informatica – il piano si inserisce nella strategia nazionale sull’intelligenza artificiale grazie ai fondi del Pnrr.

Le caratteristiche di Minerva 7B

Come ha mostrato con una demo Navigli, Minerva 7B è una versione più potente di quella messa in rete lo scorso aprile, forte di 7 miliardi di parametri contro i 3 della precedente, e quindi con maggior capacità di memorizzazione e rielaborazione dei testi, sempre basata su fonti aperte di dati (o meglio, su testi presi da internet ma non da database protetti o chiaramente coperti da copyright) elemento distintivo nel panorama degli LLM. Dopo oltre cinque mesi di lavoro incessante, il team di ricerca è approdato a questa nuova versione per un totale di oltre due trilioni (migliaia di miliardi) di token, corrispondenti a circa 1,5 trilioni di parole. Tramite un nuovo mix di istruzioni create appositamente in italiano, Minerva 7B è stato sottoposto al cosiddetto processo di “instruction tuning”, una tecnica avanzata di addestramento per i modelli di intelligenza artificiale che mira a fornire la capacità di seguire le istruzioni e di colloquiare con l’utente in italiano.

Meno allucinazioni, nessun contenuto inappropriato

Grazie appunto a questa tecnica Minerva è in grado di interpretare meglio le richieste e di generare risposte più pertinenti, coerenti e adattate al contesto, evitando per quanto possibile le cosiddette allucinazioni a cui vanno incontro questi sistemi nonché la generazione di contenuti di tipo volgare, sessuale, discriminatorio e sensibile. Si tratta di un tema cruciale che riguarda tutti i chatbot, particolarmente sentito dai ricercatori del team della Sapienza.

Navigli: “Minerva è un laboratorio permanente”

Alla presentazione romana erano presenti la rettrice della Sapienza Antonella Polimeni, il presidente Fair Giuseppe De Pietro e la direttrice generale Cineca Alessandra Poggiani. Navigli ha mostrato durante la demo diverse conversazioni con il modello, tra cui la richiesta di scrivere una favola, di tradurre e riassumere un breve testo, e ha mostrato la robustezza del modello a richieste che potrebbero generare contenuti sensibili o discriminatori. “Il nostro impegno è continuare a lavorare per massimizzare la sicurezza e gli aspetti conversazionali in una sorta di laboratorio permanente, con la consapevolezza scientifica che il rilascio di oggi non è un traguardo ma un punto di partenza – sottolinea il responsabile del progetto – la scarsità di dati di qualità in italiano, sia per il pre-addestramento linguistico che per le conversazioni e le istruzioni, è uno dei temi chiave che intendiamo affrontare nei prossimi mesi. In quest’ottica auspichiamo che il progetto possa crescere aprendosi a nuove collaborazioni, coinvolgendo ad esempio il mondo editoriale ed enti pubblici per l’impiego di Minerva in ambiti istituzionali. Minerva è il primo – e a oggi unico – modello completamente aperto, che si presta a essere utilizzato dalle Pubbliche amministrazioni, proprio per la trasparenza delle fonti e del processo di addestramento. Inoltre sono molto orgoglioso del trasferimento tecnologico che si realizza grazie a Babelscape – spin-off di successo di Sapienza – che sta lavorando alacremente a versioni industriali più potenti e sofisticate dell’LLM e alle sue applicazioni”.

Dove provare Minerva

Il modello è accessibile al pubblico all’indirizzo https://minerva-llm.org e sarà possibile scaricarlo nelle prossime settimane. La fase di test permetterà naturalmente di svolgere un ulteriore affinamento sulla base delle conversazioni effettuate nei prossimi giorni. Abbiamo provato a fare qualche scambio con Minerva e se sull’attualità non riesce del tutto a seguirci, su programmazione e altre domande più larghe e slegate dal contesto attuale, dalle ricette ai pezzi di codice per l’automazione casalinga, funziona egregiamente. “Non dobbiamo dimenticare che i termini di paragone sono i modelli delle grandi aziende: migliaia di miliardi di parametri, per esempio, nel caso di ChatGPT – racconta Navigli a Italian Tech – noi ne abbiamo 7 che è comunque un numero valido per molte applicazioni industriali. Su molti aspetti dell’attualità, pur essendo addestrato fino al 2023, può fornire risposte magari non aggiornate finché non siano chiaramente orientate (nel caso della presidenza del Consiglio, basta ad esempio chiedere chi sia “la” presidente e da Mario Draghi il modello risponde Giorgia Meloni, nda). Quello che ci interessava era soprattutto la sicurezza. Quando individua una conversazione sensibile si rifiuta di rispondere e chiude la chat. In questo senso, per l’Italia, è una novità assoluta”.

“Diverse aziende hanno annunciato il rilascio di modelli in italiano – Almawave e Fastweb per esempio – noi abbiamo voluto mostrare che il mondo della ricerca accademica è vivo in ambiti d’avanguardia e può marciare rapidamente – spiega ancora il responsabile – arriveranno anche il collegamento con il web che rafforzerà le ricerche più recenti nonché la multimodalità, per esempio la capacità di ricevere immagini come prompt e produrne come output oppure incrociare. Ci lavoreremo dall’anno prossimo, con i colleghi di altre università del progetto di partnenariato esteso in AI Fair”.

Quanto ai programmi per il prossimo futuro, “il modello è naturalmente aperto ma siamo in una fase di lancio soft in cui le conversazioni degli utenti sono preziose per migliorare ulteriormente il modello. Nelle prossime settimane sarà scaricabile. E stiamo anche pensando a un’applicazione dedicata”.

“La Sapienza ha una lunga tradizione di eccellenza nell’ambito della ricerca tecnologica e scientifica – ha aggiunto la rettrice Polimeni – negli ultimi anni, abbiamo rafforzato il nostro impegno nello sviluppo di competenze avanzate in settori strategici come l’intelligenza artificiale, promuovendo un approccio interdisciplinare che combina il rigore accademico con una visione orientata all’innovazione. Con il progetto Minerva, confermiamo la nostra missione: essere un motore di innovazione e progresso al servizio della società e del futuro”.

Continua la lettura su: https://www.repubblica.it/tecnologia/2024/11/26/news/minerva_7b_llm_italiano_sapienza_leonardo_intelligenza_artificiale-423736925/?rss Autore del post: La Repubblica Tecnologia Fonte: