Vi spiego il peggiore limite di ChatGPT

Con un post sul suo blog, OpenAI comunica il lancio del suo nuovo modello di intelligenza artificiale con capacità di “ragionamento”. Presente nelle varianti o1-preview (costituisce il modello più potente, progettato per gestire compiti complessi e sfide avanzate) e o1-mini (opzione più accessibile, offre tempi di risposta più veloci e costi inferiori ed è ideale per problemi meno difficili), la nuova ChatGPT “OpenAI o1” promette miglioramenti rilevanti nelle capacità di “ragionare” e risolvere dei problemi rispetto ai precedenti modelli linguistici di grandi dimensioni.

Come per il precedente GPT-4o (lanciato sul mercato lo scorso 18 luglio, sempre con un post sul blog ufficiale della società guidata da Sam Altman), l’obiettivo di OpenAI rimane quello di “costruire e distribuire l’IA in modo sicuro e renderla ampiamente accessibile” e “mettere a disposizione l’intelligenza a un costo inferiore è uno dei modi più efficienti per farlo”, le parole a Wired US di Olivier Godement, il product manager dell’azienda responsabile del nuovo modello (il cui nome in codice è Strawberry).

Cosa ha di diverso il nuovo chatbot

OpenAI o1 promette miglioramenti nella scrittura di codice e nel risolvere problemi multi-step. Nel suo caso, OpenAI ha eseguito l’addestramento utilizzando il reinforcement learning – una tecnica di Machine Learning in cui un agente apprende un’attività mediante una serie di tentativi ed errori – che permette al modello di “riflettere” più a lungo ai problemi prima di rispondere, individuando varie strategie e riconoscendo i propri errori. Un nuovo approccio, quello dell’apprendimento per rinforzo (RL), che di fatto rende il nuovo modello di intelligenza artificiale in grado di elaborare i problemi esaminandoli passo-passo (come siamo abituati a fare noi umani).

Le aspettative degli utenti? Sono alte, tant’è che Joanne Jang, manager di prodotto presso OpenAI, ha cercato di “arginarle” scrivendo un post su X (ex Twitter): “C’è molto entusiasmo riguardo o1, ma questo potrebbe creare un’aspettativa sbagliata. o1 eccelle in compiti assai complessi e continuerà a migliorare”. Parole sulle quali concorda Ethan Mollick, professore alla Wharton Business School dell’Università della Pennsylvania, che – testato il nuovo modello linguistico di grandi dimensioni – lo definisce “affascinante”.

Parliamo “di una tecnologia che sta evolvendo velocemente e si susseguono gli annunci entusiastici. In questo, credo ci sia la necessità di mantenere il clamore e continuare ad attrarre investitori”, spiega a Today.it Nicola Mazzari, professore associato presso il Dipartimento di matematica “Tullio Levi-Civita” dell’Università degli Studi di Padova. Che puntualizza: “Indubbiamente i modelli già disponibili permettono di automatizzare molte operazioni prima inaccessibili, ma non credo che questa sia una svolta”.

L’IA non risolve (ancora) problemi nuovi

Una sfida intrigante per il nuovo modello è proprio quella con GPT- 4o nel campo della matematica. Ad esempio, mettendo a confronto o1 e GPT-4o nel risolvere un esame di qualificazione per le Olimpiadi internazionali della matematica (la cui edizione 2024 si è svolta nel Regno Unito), GPT-4o ha risolto correttamente solo il 13 per cento dei problemi, mentre o1 ne ha risolti l’83 per cento. “Non mi stupisce – interviene Mazzari -, parliamo di modelli allenati per quell’obiettivo e molti test sono ripetitivi. Per le Olimpiadi ci si allena, proprio perché ci sono delle tecniche che si possono apprendere per “attaccare” i quesiti. Nella ricerca matematica, invece, quel che fa la differenza è la capacità di sviluppare un concetto nuovo per risolvere un problema”.

Dunque, ci saranno tanti compiti che si potranno svolgere usando l’intelligenza artificiale? “Certo che sì – replica il docente -, per esempio sarà possibile scandagliare la bibliografia in modo sofisticato e visualizzare facilmente i collegamenti tra diversi lavori. Allo stato attuale, però, non vedo la capacità di risolvere problemi nuovi e proporre concetti inesplorati”. Già, perché “o1” riesce anche a risolvere in modo preciso enigmi testuali. Ma, avendo un addestramento differente, il nuovo modello rimane dietro a GPT-4o in più di un contesto, a partire dalla navigazione online fino ad approdare all’elaborazione di file e immagini.

Quando l’intelligenza artificiale sbaglia

L’introduzione di OpenAI o1 (modello di cui l’azienda racconta la genesi in un video sul proprio canale Youtube) segna comunque un punto di svolta nello sviluppo delle capacità dell’IA, alzando l’asticella dei limiti di ciò che le macchine possono comprendere (e aiutando a capire in che modo sono in grado di interagire nel risolvere problematiche complesse). L’azienda fondata nel 2015 da un gruppo di esperti di IA, tra i quali Elon Musk – che con una serie di post pubblicati su X ha esposto il suo progetto per l’esplorazione di Marte – evidenzia le performance superiori del modello.

[embedded content]

Ciò nonostante, alcuni utenti segnalano (come anticipato) che “o1” non supera il predecessore GPT-4o in ogni metrica e che i tempi di replica possono risultare lenti. A proposito di “approccio”, chiediamo a Mazzari qual è il suo nei confronti dell’intelligenza artificiale. “Utilizzo questi strumenti e li faccio usare ai miei studenti. Ad esempio, per scrivere le correzioni dei miei esami di base: tutto bene negli esercizi standard, ma finora il bot è sempre crollato nelle domande più sottili che richiedevano un po’ di furbizia”. A questo punto, cosa suggerisce ai suoi ragazzi? “Dico loro di usare ChatGPT come se fosse un tutor, per poi commentare assieme i limiti delle risposte (che indubbiamente sono migliorate). Credo sia utile, anche perché spesso l’IA commette errori simili a quelli degli studenti”, replica il docente.

Continua la lettura su: https://www.today.it/tech/chatgpt-ragiona-come-gli-umani.html Autore del post: Today Fonte: