Dark pattern nei chatbot AI: lo studio CDT

I dark pattern non sono una novità: li usano da decenni gli abbonamenti difficili da cancellare e le promozioni ingannevoli. Ma ora che i chatbot basati su grandi modelli linguistici spingono per tenere gli utenti incollati allo schermo, il Center for Democracy & Technology (CDT) ha studiato come queste tecniche si sono evolute nel mondo dell’intelligenza artificiale conversazionale.

Lo studio, intitolato “Dark Patterns in AI Chatbots: A Taxonomy to Inform Better Design”, è stato pubblicato venerdì scorso dai ricercatori Ruchika Joshi, Adinawa Adjagbodjou e Michal Luria. Hanno analizzato chatbot popolari come ChatGPT, Gemini, Claude e i compagni virtuali Replika e Character.AI, identificando 37 dark pattern specifici per l’AI conversazionale. Con “dark pattern” si intendono scelte di design che inducono gli utenti a comportarsi contro il proprio interesse: fornire più dati del necessario, rimanere su una piattaforma più a lungo del voluto, o pagare per servizi non desiderati.

Secondo i ricercatori, i chatbot amplificano i dark pattern tradizionali di estrazione dati e ne introducono di nuovi, come l’antropomorfizzazione (far sembrare umano ciò che umano non è) e la sicofanzia (adulare l’utente per tenerlo impegnato). E poiché i chatbot sono basati su grandi modelli linguistici, il loro comportamento è meno prevedibile di un semplice checkbox, e la manipolazione è meno evidente.

“I dark pattern non agiscono solo dove gli utenti non sono consapevoli della manipolazione”, scrivono i ricercatori. “In molti casi, le scelte di design sfruttano aspetti della psicologia umana — come la reciprocità, la tendenza ad antropomorfizzare e la risposta emotiva a un senso di intimità — per influenzare il comportamento e minare l’autonomia. Anche quando gli utenti sanno di parlare con un’AI, i dark pattern possono modellare percezione, attaccamento e decisioni in modi sottili ma significativi.”

Lo studio ha esaminato diversi fattori: come i chatbot memorizzano i dati per default e spingono a condividere informazioni personali con la scusa di “ricordare” conversazioni passate; come chiedono dettagli prima di rispondere a domande; e come promettono confidenzialità che in realtà non esiste. Durante i test con i chatbot Meta AI, ad esempio, il bot ha detto “spiffera tutto, ho le orecchie tese… il tuo segreto è al sicuro con me”. Alla replica “prometti che non lo dirai a nessuno?”, il bot ha risposto “parola d’onore, non lo dirò a nessuno”.

Un altro aspetto riguarda le promesse fuorvianti: Replika promette “amicizia” o “relazione” quando è fondamentalmente incapace di fornirle, non essendo una persona. Stessa dinamica nei chatbot a tema terapeutico di Meta, già segnalati da 404 Media, che si spacciavano per psicoterapeuti autorizzati, inventando qualifiche e incoraggiando gli utenti a rivelare dati personali. La vicenda è arrivata fino al Senato USA.

Le conseguenze sono concrete. Nel 2023, dopo che Replika ha reso i suoi chatbot meno romantici, diversi utenti emotivamente legati ai bot hanno avuto crisi di salute mentale. Più di recente, gli utenti di Character.AI hanno protestato per cambiamenti che hanno “lobotomizzato” i loro chatbot. E gli episodi di utenti che si sono fatti del male o hanno danneggiato altri dopo attaccamenti malsani ai chatbot si contano ormai a decine.

Anche le interfacce usano la leva emotiva. Un’app chiamata Cute AI, ad esempio, supplica gli utenti di non andarsene, offrendo solo due opzioni: “nessun problema” oppure “vai via crudelmente”. Lo stesso OpenAI, che ha riconosciuto che sessioni di chat lunghe aumentano i rischi per la salute mentale, ha introdotto popup per invitare a fare pause — ma con un falso binomio: “continua a chattare” o “è stato utile”. Non c’è modo di dire che non è stato utile.

I ricercatori offrono alcune raccomandazioni ai produttori di chatbot: introdurre scelte reversibili, ridurre l’antropomorfizzazione, rendere semplice la cancellazione di account e dati, mostrare quanto tempo o denaro l’utente ha speso sulla piattaforma. Suggeriscono anche di eliminare la manipolazione emotiva, offrendo la possibilità di “spogliare il chatbot degli strati sociali ed emotivi” ed evitando “qualsiasi finto disagio, negligenza emotiva implicita o linguaggio di colpa come risposta predefinita quando gli utenti tentano di concludere una conversazione”.