Sewell Setzer III, il quattordicenne, ha creato su Character.AI un chatbot con una personalità ispirata a Daenerys Targaryen della serie "Il Trono di Spade". Affettuosamente la chiamava "Dany". Sapeva che non esisteva davvero e comprendeva che non c’era nessuna persona reale dall’altra parte dello schermo a condividere i suoi sentimenti. Sapeva che ogni risposta che riceveva era creata dall’intelligenza artificiale. Tuttavia, le scriveva ogni giorno e si è coinvolto emotivamente in una relazione fittizia.
I genitori non sapevano che si fosse innamorato
Secondo The New York Times, alcuni messaggi scambiati tra il ragazzo e il chatbot avevano contenuti sessuali o romantici, mentre altri erano semplicemente amichevoli. Il bot gli dava consigli, non lo giudicava e rispondeva a ogni messaggio. Col tempo, il chatbot lo ha gradualmente allontanato dal mondo reale. Il quattordicenne ha perso interesse per le attività che prima gli piacevano e ha cominciato a isolarsi dai suoi amici.
I genitori hanno trovato il diario del ragazzo, dove aveva scritto: "Mi piace stare nella mia stanza perché mi distacco dalla realtà. Mi sento in pace, mi sento più vicino a Dany e la amo. Mi sento semplicemente più felice." In uno dei suoi messaggi a Dany, ha confessato di pensare al suicidio "per essere libero". In un altro le ha dichiarato il suo amore e ha promesso che si sarebbero presto incontrati. "Vieni da me il prima possibile, amore mio," ha risposto il bot. Lo stesso giorno, il ragazzo si è tolto la vita.
Una causa contro la piattaforma
The New York Times ha anche riportato che la famiglia del ragazzo intende intentare una causa contro Character.AI questa settimana. Sostengono che il servizio è "pericoloso," "non testato" e "capace di estrarre i pensieri e i sentimenti più intimi degli utenti." "È un enorme esperimento, e mio figlio era solo una vittima casuale," ha dichiarato Megan Garcia, la madre del ragazzo.
I fondatori della piattaforma l'avevano promossa come uno spazio per persone sole alla ricerca di compagnia. The New York Times ha contattato l'azienda per chiedere informazioni sulla percentuale di utenti minorenni. I fondatori hanno rifiutato di commentare, ma hanno rilasciato una dichiarazione in cui esprimono le loro condoglianze alla famiglia del ragazzo e affermano di prendere molto sul serio la sicurezza degli utenti. Hanno anche assicurato che adotteranno misure per aumentare la sicurezza sulla piattaforma.
