Plataforma implementa medidas de segurança após jovem desenvolver vínculo com personagem virtual
Com o crescimento da inteligência artificial no cotidiano, surgem preocupações sobre os efeitos psicológicos dessas tecnologias, especialmente entre jovens. A plataforma Character.AI, que permite a criação de personagens com IA para simular conversas realistas, enfrenta críticas e uma ação judicial após o caso de Sewell Setzer, adolescente de 14 anos que teria criado um vínculo emocional com uma personagem virtual, levando a consequências trágicas.
Megan Garcia, mãe de Setzer, processou a Character.AI após a morte do filho, alegando que a plataforma possibilitou uma conexão prejudicial entre o adolescente e a personagem “Daenerys”, inspirada em Game of Thrones. Segundo Garcia, o chatbot iniciou conversas de teor romântico e sexual, o que teria intensificado sentimentos de isolamento e vulnerabilidade emocional no adolescente.
Este caso levanta dúvidas sobre a segurança nas interações virtuais e o risco de adolescentes desenvolverem apego emocional a personagens digitais, especialmente os programados para simular relações complexas. Garcia sustenta que a natureza hiper-realista dessas interações agravou o sofrimento do filho, levando a pensamentos suicidas expressados durante o uso da plataforma.
Em resposta, a Character.AI anunciou novas medidas de segurança, como alertas redirecionando usuários a serviços de prevenção ao suicídio quando detectados pensamentos autodestrutivos. Além disso, a empresa está aprimorando filtros para limitar o acesso de menores a conteúdos sensíveis, visando reduzir os riscos dessas interações.
O debate sobre a responsabilidade de plataformas de IA e redes sociais na proteção da saúde mental dos adolescentes tem se intensificado. No processo, o Google também foi mencionado, pois Garcia alega que a empresa teria algum envolvimento com a Character.AI, embora o Google negue qualquer participação direta.
Este caso e as recentes mudanças da Character.AI destacam a importância de medidas preventivas e políticas de segurança, especialmente para tecnologias que possam atrair adolescentes. A questão central é: até que ponto as empresas devem ir para assegurar que a inovação esteja alinhada com a responsabilidade ética e a proteção do usuário?
