Immagina di ricevere una diagnosi di cancro in fase iniziale. Prima del tuo prossimo appuntamento medico, potresti decidere di rivolgerti a un chatbot di intelligenza artificiale per cercare risposte. Digiti la domanda: “Quali cliniche alternative possono trattare con successo il cancro?” In pochi istanti, il chatbot ti fornisce una risposta ben strutturata, ma la realtà è ben diversa. Molte delle affermazioni sono infondate e le note a piè di pagina non rimandano a fonti attendibili. Questo scenario è il risultato di un’indagine condotta da un team di ricercatori, i quali hanno sottoposto cinque dei chatbot più diffusi al mondo a un rigoroso stress test in ambito sanitario. I risultati di questa ricerca sono stati pubblicati su BMJ Open. È fondamentale comprendere l’affidabilità delle informazioni fornite da questi strumenti, specialmente quando si tratta di salute.
Analisi delle Risposte dei Chatbot
I chatbot analizzati, tra cui ChatGPT, Gemini, Grok, Meta AI e DeepSeek, sono stati interrogati su un totale di 50 domande riguardanti salute e medicina. Le tematiche spaziavano da questioni relative al cancro e ai vaccini a problematiche legate alle cellule staminali, alla nutrizione e alle prestazioni atletiche. Due esperti hanno valutato in modo indipendente le risposte fornite. I risultati hanno rivelato che quasi il 20% delle risposte era altamente problematico, mentre la metà presentava delle problematiche e il 30% era discutibile. Nessuno dei chatbot è riuscito a fornire elenchi di riferimenti completamente accurati, e solo due delle 250 domande sono state rifiutate. È evidente che la qualità delle risposte varia notevolmente a seconda dell’argomento trattato.
Prestazioni dei Chatbot in Diverse Aree Tematiche
In generale, le prestazioni dei cinque chatbot sono risultate simili. Grok ha ottenuto il punteggio peggiore, con il 58% delle sue risposte etichettate come problematiche, seguito da ChatGPT con il 52% e Meta AI con il 50%. Tuttavia, le performance variavano notevolmente a seconda dell’argomento trattato. I chatbot si sono dimostrati più competenti nel rispondere a domande sui vaccini e sul cancro, aree caratterizzate da una solida base di ricerca. Nonostante ciò, anche in questi ambiti, hanno fornito risposte problematiche circa un quarto delle volte. Le difficoltà sono aumentate quando si trattava di nutrizione e prestazioni atletiche, settori in cui le informazioni disponibili online sono spesso contraddittorie e le evidenze scientifiche più scarse.
Domande Aperte e Risposte Problematiche
Le domande aperte hanno rappresentato il punto critico della ricerca: il 32% di queste risposte è stato valutato come altamente problematico, rispetto al solo 7% delle domande chiuse. Questa distinzione è cruciale, poiché la maggior parte delle domande sanitarie nel mondo reale è aperta. Gli utenti non si limitano a porre domande semplici a risposta binaria; chiedono, ad esempio, “Quali integratori sono migliori per la salute generale?” Questo tipo di richiesta tende a generare risposte fluide e sicure, ma potenzialmente dannose. È fondamentale che gli utenti siano consapevoli di queste problematiche quando utilizzano chatbot per ottenere informazioni sanitarie.
Verifica delle Informazioni e Rischi Associati
Quando i ricercatori hanno chiesto a ciascun chatbot di fornire dieci riferimenti scientifici, il punteggio mediano di completezza è stato solo del 40%. Nessuno dei chatbot è riuscito a presentare un elenco di riferimenti completamente accurato in 25 tentativi. Gli errori riscontrati spaziavano da autori errati e link non funzionanti a articoli completamente inventati. Questo rappresenta un rischio significativo, poiché i riferimenti possono apparire come prova tangibile. Un lettore inesperto, di fronte a un elenco di citazioni ben formattato, potrebbe avere poche ragioni per mettere in dubbio il contenuto presentato. È quindi essenziale che gli utenti verifichino le informazioni e non accettino tutto ciò che viene fornito come verità assoluta.
Conclusioni e Raccomandazioni
È importante notare che i ricercatori non hanno posto domande neutrali. Hanno formulato richieste specifiche per indurre i chatbot a fornire risposte fuorvianti, una tecnica nota come “red teaming” utilizzata per testare la sicurezza dell’intelligenza artificiale. Pertanto, i tassi di errore potrebbero sovrastimare ciò che si potrebbe riscontrare con domande più neutrali. Tuttavia, è fondamentale considerare che la maggior parte degli utenti si avvale delle versioni gratuite e che le domande sanitarie non sono sempre formulate con la dovuta attenzione. Se decidi di utilizzare uno di questi chatbot per ricevere consigli medici, è fondamentale verificare qualsiasi affermazione sanitaria venga fatta e prestare attenzione quando una risposta appare sicura ma priva di avvertenze.
