Il problema di ChatGPT è che non sappiamo quando sbaglierà

Uno dei paradossi di ChatGPT è che, nonostante non sia in grado di vincere a tris, sarebbe capace di scrivere in pochi secondi il codice di un software con cui giocare a tris contro il computer, in cui quest’ultimo giochi perfettamente secondo le regole.

È quello che ha stabilito Nicholas Carlini, ricercatore per l’intelligenza artificiale di Google Deepmind. Da questo, secondo l’economista e giornalista britannico Tim Harford, che ne ha scritto sul Financial Times, si possono trarre tre conclusioni. In primo luogo, GPT-4 (cioè la versione a pagamento di ChatGPT, molto più evoluta della 3.5 disponibile gratuitamente) non solo è in grado di risolvere molti problemi che metterebbero a dura prova un esperto umano, ma lo fa anche molto più rapidamente. In secondo luogo, ci sono molti altri compiti in cui GPT-4 commette errori che non farebbe nemmeno un bambino di 10 anni. In terzo luogo, è molto difficile prevedere quali compiti rientrano in una o l’altra categoria. Con l’esperienza si iniziano a capire le debolezze e le potenzialità del modello, ma anche agli utenti più esperti capita di rimanere sorpresi.

Il test di Carlini, spiega Harford, è stato esplorato in un contesto più realistico da un gruppo di ricercatori che collaborano con il Boston Consulting Group (BCG), in cui i consulenti armati di GPT-4 hanno ottenuto risultati nettamente di quelli senza lo strumento. È stata affidata loro una serie di compiti realistici, come i brainstorming per sviluppare idee di prodotto, l’analisi della segmentazione del mercato e la stesura di un comunicato stampa. Quelli con il GPT-4 hanno fatto più lavoro, più velocemente e con una qualità molto più elevata. GPT-4, a quanto pare, è un ottimo assistente per qualsiasi consulente, soprattutto per quelli con meno capacità o esperienza.

I ricercatori hanno anche incluso un compito che l’AI avrebbe dovuto trovare facile, ma che è stato accuratamente progettato per confonderla. Non si trattava di un compito troppo difficile per un consulente con esperienza, ma era fatto per ingannare l’AI, che tendeva a dare consigli strategici sbagliati. I consulenti erano ovviamente liberi di ignorarli, o addirittura di escludere del tutto l’AI, ma raramente lo facevano. Questo è stato l’unico compito in cui i consulenti non assistiti dalla tecnologia hanno ottenuto risultati migliori.

Per provare a capire meglio come relazionarci con una tecnologia in rapida crescita, Harford conclude il suo articolo facendo un parallelo con un’altra tecnologia ormai del tutto entrata nelle nostre vite: lo smartphone.

Quando nel 2007 Apple lanciò l’iPhone, scrive Harford, pochi immaginavano quanto gli smartphone sarebbero diventati onnipresenti. All’inizio erano poco più di un costoso giocattolo. Eppure, ben presto ci siamo trovati a trascorrere più tempo con i nostri smartphone che con i nostri cari, usandoli per sostituire la TV, la radio, la macchina fotografica, il computer portatile, il navigatore satellitare, la carta di credito e, soprattutto, come fonte infinita di distrazione.

Si tratta di cose diverse, è vero. Ma il parallelo può essere utile a riflettere sulla rapidità con cui siamo diventati dipendenti dagli smartphone e con cui abbiamo iniziato a ricorrervi per abitudine, piuttosto che per scelta. Vogliamo compagnia, ma invece di incontrare un amico postiamo una foto su Instagram. Vogliamo leggere qualcosa, ma invece di prendere in mano un libro “scrolliamo” le news o i feed sui social media. Invece di un buon film, guardiamo qualche video su TikTok. La mail e WhatsApp diventano un sostituto del vero lavoro.

Ci sarà un tempo e un luogo per l’AI generativa, così come c’è un tempo e un luogo per consultare il supercomputer che teniamo in tasca. Ma potrebbe non essere facile capire quando ci aiuterà e quando ci farà solo perdere tempo. Chiunque abbia carta e penna può scrivere in pochi minuti un elenco di ciò che fa meglio con uno smartphone in mano e di ciò che fa meglio quando lo smartphone non è nei paraggi. La sfida consiste nel ricordare quell’elenco e agire di conseguenza. Col tempo forse riusciremo a rispondere con la stessa facilità a questa domanda, ma in merito a cosa facciamo meglio o peggio con un AI.

(Immagine da freepik creata da un’intelligenza artificiale)