Le AI possono produrre idee di ricerca più originali degli esseri umani?

Da tempo nel mondo della ricerca si sta cercando di valutare il contributo che possono dare le intelligenze artificiali (AI) nelle varie fasi del processo scientifico. Secondo un preprint pubblicato su arXiv, un generatore di idee alimentato dall’AI ha proposto più idee di ricerca originali di 50 scienziati che lavoravano in modo indipendente.

Le idee generate dall’uomo e dall’intelligenza artificiale sono state valutate da revisori ai quali non è stato detto chi o cosa avesse creato ciascuna idea, spiega un articolo su Nature. I revisori hanno giudicato i concetti generati dall’IA più interessanti di quelli scritti dagli esseri umani, anche se i primi hanno ottenuto un punteggio leggermente inferiore per quanto riguarda la fattibilità.

Gli scienziati hanno fatto notare che lo studio, che non è stato ancora sottoposto a revisione paritaria (peer review), ha dei limiti. Si è infatti concentrato su un’unica area di ricerca e ha richiesto ai partecipanti di elaborare idee “al volo”, il che probabilmente ha ostacolato la loro capacità di produrre i concetti migliori.

Il progetto, che è durato un anno, è uno dei più grandi sforzi per valutare se i modelli linguistici di grandi dimensioni (LLM: la tecnologia alla base di strumenti come ChatGPT) possono produrre idee di ricerca innovative.

Il team, spiega Nature, ha reclutato più di cento ricercatori nell’ambito dell’elaborazione del linguaggio naturale, una branca dell’informatica che si concentra sulla comunicazione tra IA ed esseri umani. Quarantanove partecipanti sono stati incaricati di sviluppare e scrivere idee basate su uno dei sette argomenti, entro dieci giorni. Come incentivo, i ricercatori hanno pagato ai partecipanti 300 dollari per ogni idea, con un bonus di mille dollari per le cinque idee con il punteggio migliore.

Nel frattempo, il gruppo di ricerca ha sviluppato un generatore di idee utilizzando Claude 3.5, un LLM sviluppato dall’azienda Anthropic di San Francisco. I ricercatori hanno chiesto al loro strumento di intelligenza artificiale di trovare documenti rilevanti per i sette argomenti di ricerca utilizzando Semantic Scholar, un motore di ricerca della letteratura alimentato dall’intelligenza artificiale. Sulla base di questi documenti, i ricercatori hanno poi chiesto all’AI di generare 4 mila idee su ciascun argomento di ricerca e di classificare quelle più originali.

Successivamente, hanno assegnato in modo casuale le idee generate dall’uomo e dall’IA a 79 revisori, che hanno dato a ciascuna idea un punteggio in base alla novità, all’interesse, alla fattibilità e all’efficacia prevista. Per garantire che i redattori delle idee rimanessero sconosciuti ai revisori, i ricercatori hanno utilizzato un altro LLM per modificare entrambi i tipi di testo, in modo da uniformare lo stile e il tono di scrittura senza modificare le idee stesse.

In media, i revisori hanno giudicato le idee generate dall’intelligenza artificiale più originali ed entusiasmanti di quelle scritte dai partecipanti umani. Tuttavia, quando il team ha esaminato più da vicino le idee prodotte dall’AI, ne ha trovate solo circa 200 veramente uniche, suggerendo che l’AI è diventata meno originale man mano che sfornava idee.

I risultati suggeriscono che i LLM potrebbero essere in grado di produrre idee leggermente più originali di quelle presenti nella letteratura esistente. Ma che siano in grado o meno di competere con le idee umane più innovative resta una questione aperta.

(Foto di Google DeepMind su Unsplash)