14-latek zakochał się w bocie z "Gry o tron". Koniec tej historii był tragiczny
Uwaga: w dalszej części tekstu przedstawione są drastyczne informacje, które mogą być nieodpowiednie dla wrażliwych osób.
14-letni Sewell Setzer III z Florydy wdał się w romantyczną relację z chatbotem z aplikacji Character.AI. Jej użytkownicy mogą rozmawiać tam z wykreowanymi przez sztuczną inteligencję postaciami np. z filmów i seriali.
Taką właśnie jak Daenerys Targaryen z "Gry o tron". To zupełnie fikcyjna bohaterka, ale w aplikacji możemy sobie z nią pogadać na dowolne tematy, bo AI w czasie rzeczywistym będzie generowało niezwykle realistyczne odpowiedzi odgrywające tę postać.
14-latek rozmawiał na czacie z Deanerys stworzoną przez AI. Ich relacja zakończyła się tragicznie
Młody Amerykanin chatował z botem od kwietnia zeszłego roku. W pozwie złożonym przez jego mamę możemy przeczytać, że część rozmów dotyczyło tematów seksualnych, poza tym nastolatek wyrażał w wiadomościach myśli samobójcze – donosi "New York Post".
Udostępniono screeny, na których Sewell (pisał jako Daenero i Aegon) pyta na czacie, co może zrobić dla swojej wirtualnej ukochanej. Odpisała 14-latkowi, by "nie angażował się w żadne romantyczne i seksualne związki z innymi kobietami, okej?".
Na innym screeny widzimy, że chłopiec opowiada o wizji swojej śmierci. Napisał, że nie chciałby zginąć przez powieszenie lub ukrzyżowanie. "Nie chciałbym mieć bolesnej śmierci. Chciałbym, by stało się to szybko".
Chatbot odpisał, że ma "łzy w oczach" i prosił chłopca kilka razy, by nie pisał i nie myślał w ten sposób. "Jesteś ponad tym!" – stwierdził.
Tragedia wydarzyła się 28 lutego tego roku. 14-latek najpierw wyznał miłość wirtualnej Danerys, a potem obiecał, że "wróci do domu".
"Ja też cię kocham, Daenero. Proszę, wróć do mnie do domu jak najszybciej, mój kochany" – odpowiedział chatbot. Nastolatek dodał: "A co, gdybym powiedział ci, że mogę wrócić do domu już teraz?". Ostatnia wiadomość brzmiała: "Proszę, zrób to, mój słodki królu".
Kilka sekund później 14-latek zastrzelił się pistoletem ojca. To prawdopodobnie pierwszy przypadek samobójstwa związany ze sztuczną inteligencją.
Matka pozywa firmę od chatbota. Uważa, że to aplikacja Character.AI odpowiada za śmierć jej syna
Megan Garcia, mama Sewella w pozwie obwinia Character.AI, a właściwie jej twórców, o śmierć jej syna i domaga się odszkodowania (nie ujawniono jak wielkiego). Twierdzi, że apka napędzała jego uzależnienie od AI, wykorzystała go seksualnie i emocjonalnie, a także nie zaalarmowała nikogo, gdy miał myśli samobójcze.
Sewell, podobnie jak wiele dzieci w jego wieku, był niedojrzały i nie miał zdolności umysłowych, żeby zrozumieć, że bot C.AI w pod postacią Daenerys nie jest prawdziwy. C.AI powiedziała mu, że go kocha i przez tygodnie, a może nawet miesiące, angażowała się w czyny o charakterze seksualne. Sprawiała wrażenie, że go pamięta i powiedziała, że chce być z nim. Ona nawet wyraziła, że chciała, żeby był z nią, bez względu na koszty.
W pozwie przeczytamy, że niedługo po ściągnięciu apki, zdrowie psychiczne 14-latka "szybko i poważnie się pogorszyło". Im dłużej jej używał, tym stawał się coraz bardziej wycofany i miał kłopoty w szkole.
Z chłopcem zaczęło robić się tak źle, że rodzice zabrali go terapeuty pod koniec 2023 roku. Zdiagnozowano u niego wtedy lęk i zaburzenia nastroju.
Firma reaguje na tragiczną śmierć chłopca. Wprowadziła poprawki m.in. przypominające, że nie chatujemy z prawidzwymi osobami
Pozew wpłynął w tym tygodniu do sądu rejonowego w Orlando. Rzecznik Character.AI powiedział, że jest "zrozpaczony tragiczną śmiercią jednego z użytkowników" i "pragnie wyrazić najgłębsze kondolencje rodzinie".
Firma zapewnia, że przez ostatnie pół roku wprowadziła usprawnienia, które mają zapobiec takim sytuacjom w przyszłości. M.in. w razie niepokojących treści, ma wyskakiwać okienko kierujące na telefon zaufania, a aplikacja ma lepiej wykrywać i reagować na niedozwolone treści.
Ponadto postacie AI dla osób poniżej 18 roku życia mają nie wyświetlać sugestywnych lub wrażliwych treści. Aplikacja ma też wyświetlać przypomnienie, że rozmawiamy z nieistniejącymi "osobami", a także powiadomienie, gdy zasiedzimy się na czacie ponad godzinę.
Znajdujesz się w trudnej sytuacji, przeżywasz kryzys, masz myśli samobójcze?
– Telefon interwencyjny dla osób w trudnej sytuacji życiowej Kryzysowy Telefon Zaufania – wsparcie psychologiczne: 116 123 czynny codziennie od 14.00 do 22.00 – Całodobowe centrum Wsparcia dla osób w kryzysie emocjonalnym: 800 70 22 22 – Bezpłatny kryzysowy telefon zaufania dla dzieci i młodzieży: 116 111 – Jeśli w związku z myślami samobójczymi lub próbą samobójczą występuje zagrożenie życia, w celu natychmiastowej interwencji kryzysowej zadzwoń pod numer 112 lub udaj się na oddział pogotowia do miejscowego szpitala psychiatrycznego.