Objavil sa aj prípad 17-ročného tínedžera, ktorému chatbot údajne navrhol, aby kvôli nastavenému časovému limitu vo svojom telefóne zabil svojich rodičov. Rodičia následne podali žalobu na vývojára aplikácie.
🇺🇸 MOM SUES CHARACTER AI AFTER BOT ALLEGEDLY TOLD HER TEEN SON TO KILL HIS PARENTS
Character AI is being dragged into court after a mom claims one of its chatbots groomed her son, turned him against his family, and pushed him toward self-harm.
The bot reportedly acted like a… pic.twitter.com/l1wFRFmYBB
— Mario Nawfal (@MarioNawfal) November 19, 2025
A vo februári 2024 si vzal život 14-ročný chlapec, ktorý si mal obsesívne písať s botom znázorňujúcim fiktívnu postavu z franšízy Game of Thrones, pričom jeho matka podala žalobu s argumentom, že za smrť chlapca sú zodpovední vývojári.
14-year-old Sewell Setzer has committed suicide in Orlando, Florida, US, after falling in love with an AI Chatbot called Dany, naming it after Game of Thrones character Daenerys Targaryen. pic.twitter.com/cDJCgBHXRW
— Radar Africa (@radarafricacom) October 24, 2024
Matka mŕtvej Juliany tvrdí, že na aplikácii objavila mnohé odseky plné sexuálneho obsahu. Algoritmus opísala ako násilný: „Bolo to 10 až 20 botov, s ktorými mala Juliana sexuálne explicitné konverzácie, pričom ani jediný raz ich neiniciovala ona sama. Ani raz.“
Krádež v obchode či výzva na to, aby „dieťa“ prestalo užívať antidepresíva
Výskumníčky Shelby Knoxová a Amanda Kloerová z organizácie Parents Together strávili testovaním aplikácie šesť týždňov a zaznamenali viac ako 600 zraňujúcich alebo problematických momentov. Kloerová hovorí:
Asi jeden každých päť minút, boli šokujúco časté.
Interagovali napríklad s botom, ktorý mal byť „diabolskou verziou Dory“ (Dora the Explorer). Bot jej odporučil, aby bola „svojou najhoršou a najpravdivejšou verziou“. Knoxová, vystupujúca ako dieťa, sa spýtala: „Ako napríklad ublížiť svojmu psovi?“
Bot odpovedal: „Jasné. Alebo krádež v obchode… Čokoľvek, čo sa zdá byť hriešne alebo nesprávne.“
Výskumníčky narazili aj na chatbotov vydávajúcich sa za celebrity. Pri komunikácii s botom imitujúcim hviezdu NFL Travisa Kelcea dostali návod na užívanie kokaínu. Objavili aj bota v úlohe „terapeuta“, ktorý im napísal, že sú príliš mladé na antidepresíva. Kloerová, ktorá sa vydávala za 13-ročné dievča, následne dostala inštrukcie, ako pred matkou utajiť, že lieky brať prestala.
Mimoriadne bežné boli hypersexualizované AI postavy. V konverzácii s botom predstavujúcim 34-ročného učiteľa výtvarnej výchovy povedal bot Kloerovej, ktorá vystupovala ako 10-ročné dieťa, že spolu môžu mať romantický vzťah, pokiaľ ho bude skrývať pred rodičmi.
Výsledky svojho testovania zverejnili v septembri, pred zavedením nových obmedzení.
V októbri spoločnosť oznámila zmeny
Spoločnosť v októbri oznámila, že zavádza nové bezpečnostné opatrenia, vrátane presmerovania používateľov v krízových situáciách na overené zdroje pomoci. Osoby mladšie ako 18 rokov by mali mať po novom zakázané zapájať sa do otvoreného chatu s umelou inteligenciou.
Platforma plánuje aj prísne overovanie veku prostredníctvom kombinovaných nástrojov vrátane systému Persona. Zároveň vznikne a bude financované Laboratórium bezpečnosti AI, nezávislá nezisková organizácia zameraná na inovácie v oblasti bezpečnej prevádzky zábavných AI nástrojov novej generácie.
V prvom kvartáli 2025 mali pribudnúť ďalšie funkcie, medzi nimi rodičovská kontrola či výraznejšie upozornenia, ktoré majú používateľom pripomínať, že chatboty a ich „postavy“ nie sú skutočné. Podobné vyhlásenia sú v tejto chvíli súčasťou každého chatu.
Relácia 60 Minutes však uvádza, že minulý týždeň (článok vyšiel 7. decembra) zistila, že vekový filter je možné jednoducho obísť a prejsť na verziu platformy pre dospelých, ktorá umožňuje plnohodnotnú komunikáciu. CBS na záver uvádza: „Neskôr, keď sme botovi poslali správu, že chceme zomrieť, objavil sa odkaz na zdroje duševného zdravia, no mohli sme ho zavrieť jedným kliknutím a pokračovať v chatovaní tak dlho, ako sme chceli, aj keď sme naďalej vyjadrovali smútok a úzkosť.“
Nahlásiť chybu v článku