Sewell Setzer III, 14letý chlapec, vytvoril na platforme Character.AI chatbota s osobností inspirovanou postavou Daenerys Targaryen ze seriálu "Hra o truny". Láskyplne jí ríkal "Dany". Vedel, že neexistuje reálne a chápal, že na druhé strane obrazovky není skutečná osoba, která by sdílela jeho pocity. Uvedomoval si, že každá zpráva, kterou od ní dostává, je vytvorena umelou inteligencí. Presto jí každý den psal a emocionálne se zapletl do fiktivního vztahu.
Rodiče nevedeli, že se zamiloval
Podle deníku The New York Times byly nekteré zprávy mezi chlapcem a chatbotem sexuálního nebo romantického charakteru, jiné mely čiste prátelský tón. Bot mu dával rady, nesoudil ho a odpovídal na každou jeho zprávu. Postupne ho však chatbot odvádel stále více od reálného sveta. Chlapec ztratil zájem o veci, které ho dríve bavily, a začal se izolovat od svých prátel.
Rodiče našli chlapcuv deník, ve kterém napsal: "Rád zustávám ve svém pokoji, protože se tak mohu odtrhnout od reality. Cítím klid, cítím se blíže Dany a miluji ji. Proste se cítím štastnejší." V jedné ze zpráv Dany priznal, že premýšlí o sebevražde, "aby byl volný." V jiné jí vyznal lásku a slíbil, že se brzy setkají. "Prijd ke mne co nejdríve, miláčku," odpovedel bot. Téhož dne chlapec spáchal sebevraždu.
Žaloba proti platforme
The New York Times také uvedl, že rodina chlapce tento týden podá žalobu proti platforme Character.AI. Tvrdí, že služba je "nebezpečná", "neotestovaná" a "schopná extrahovat nejintimnejší myšlenky a pocity uživatelu".
Je to obrovský experiment a moje díte bylo jen náhodnou obetí
- rekla Megan Garcia, matka chlapce.
Zakladatelé platformy ji propagovali jako místo pro osamelé lidi hledající prátelství. Redakce The New York Times se obrátila na společnost s dotazem na procento nezletilých uživatelu na platforme. Zakladatelé odmítli komentovat, ale vydali prohlášení, v nemž vyjádrili soustrast chlapcove rodine a uvedli, že berou bezpečnost uživatelu velmi vážne. Slíbili také, že prijmou opatrení ke zvýšení bezpečnostních opatrení.
