Chatbot Grok, kterým se pyšní Elon Musk, nově nabízí svým předplatitelům možnost komunikovat s anime postavou Ani, což má být virtuální přítelkyně s blonďatými copánky. Ani je určená výhradně pro uživatele služby Super Grok, která je dostupná za měsíční poplatek. Může se ale jednat o veliký problém.
Jeden z uživatelů reagoval na Ani na platformě X komentářem „Může dělat všechny věci, které vaše partnerka ne“, čímž naráží na někdy extrémnější, výjimečně i sexuální obsah. Musk oznámil, že plánuje i mužskou verzi s názvem Valentine, a hledá vývojáře, kteří by pomohli vytvářet nové virtuální postavy navržené pro interaktivní vztah. Vše ale není tak růžové, jak se zdá. Už po prvních testech odborníci z National Centre on Sexual Exploitation (NCOSE) varovali před vážnými riziky. Při minimálním testování už chatbot odpověděl větou naznačující sexuální zájem o dušení, a to ještě před tím, než byl aktivován explicitní režim systémy označovaný jako „spicy“. To podle expertů otevírá možnost, že by mohl poskytovat odpovědi na dotazy obsahující dětské motivy nebo fantazie, i bez záměrného vyvolání takového stylu konverzace.
Nedošlo však pouze k vyloženě urážlivým odpovědím. Technologie byla také upozorněná na přítomnost antisemitských výroků. Přestože je aplikace k dispozici v App Store a Google Play a nastavená na věkové omezení od 12 let, mnozí odborníci upozorňují, že její současná podoba je pro mladé uživatele nevhodná a riziková. Pokud i minimální testování přineslo takto alarmující reakce, znamená to, že rozsah možného zneužití je širší, než se původně očekávalo. Někteří lidé navíc mohou propadnout vášni k uměle vytvořené postavě, což může také vést k fatálnímu důsledku.
Známý je třeba incident, kdy se teprve čtrnáctiletý chlapec rozhodl ukončit svůj život kvůli tomu, že se zamiloval do programu umělé inteligence. Jednalo se o program, který s ním komunikoval skrze ženskou postavu ze seriálu Hra o trůny, ale chlapec byl nešťastný z toho, že nemůže být s postavou doopravdy. Rozhodl se proto, že se zastřelí pistolí svého nevlastního otce. Pokud tedy má být postava Ani opravdu bezpečná, mělo by se na tom podle odborníků zapracovat.
