ALERTA DE GATILHO: ESTA REPORTAGEM ABORDA SOBRE SUÍCIDIO. AO FINAL DO TEXTO, HÁ DETALHES DE COMO ENTRAR EM CONTATO COM O CENTRO DE VALORIZAÇÃO DA VIDA (CVV). 

As inteligências artificiais (IA) já estão bastante integradas a serviços digitais e até em redes sociais ou mensageiros, fazendo cada vez mais parte do nosso cotidiano. Ao mesmo tempo, crescem as preocupações sobre esse papel presente de chatbots e assistentes, já que a estrutura que imita a comunicação humana traz consequências.

O debate sobre IA e saúde mental ainda ocorre em fases iniciais, mas talvez precise ser priorizado na área com o surgimento de incidentes envolvendo IAs que ainda são limitadas em interação e nada indicadas para lidar com questões emocionais.

Um triste caso recente nos Estados Unidos envolvendo um site de chatbots e um adolescente que tirou a própria vida pode signifiar mudanças no sentido de regulamentação — e talvez a maior fiscalização sobre consequências da IA na saúde mental, em especial do público jovem.

A tragédia de Sewell Setzer

O caso que levantou essa discussão foi o de Sewell Setzer III, adolescente de 14 anos que morava no estado norte-americano da Flórida com a mãe. O jovem cometeu suicídio no final de fevereiro deste ano.

De acordo com a mãe de Sewell, Megan Garcia, o menino estava “obcecado” e “viciado” no serviço de chatbots de IA da startup Character.AI. Ela abriu um processo contra a plataforma, responsabilizando ela pela tragédia.

Sewell e a mãe, que está processando a empresa de IA. (Imagem: Tech Justice Law Project/Divulgação)Fonte:  Tech Justice Law Project 

O jornal The New York Times trouxe detalhes do processo, que incluem trechos de interações do jovem com o chatbot. Sewell conversava com um chabot que simulava a personagem Daenerys Targaryen, da saga de livros Game of Thrones.

Com o passar do tempo, ele desenvolveu uma conexão emocional e passava horas conversando com a IA, desabafando sobre a vida e até vivendo um romance virtual. A mãe diz que ele aos poucos começou a se isolar da realidade, piorar o desempenho na escola e deixar de lado outros hobbies, enquanto virava a noite conectado.

A “paixão” por uma IA é possível, diz em entrevista ao TecMundo o psicólogo clínico Julio Peres, doutor em Neurociências e Comportamento pela USP. Porém, segundo ele, o relacionamento na verdade é “com a projeção que a pessoa faz de suas necessidades e carências sobre ela“, aproveitando-se de que do outro lado está um robô que age como um espelho de outra pessoa.

Em uma das conversas, o adolescente chegou a falar em tirar a própria vida. A IA repreendeu a ação, mas sem sair do contexto de encenação ou lidar da forma séria que o assunto demandava — em especial por se tratar de um menor de idade.

Na última interação com a IA, minutos antes da tragédia, ele falou em “ir para a casa agora mesmo”. Sem perceber a gravidade da situação ou diferenciar a metáfora da realidade, a resposta do chatbot foi “por favor, faça isso, meu doce rei”.

Um universo de chatbots

A Character.AI foi fundada em 2022 por Noam Shazeer e o brasileiro Daniel De Freitas, ambos ex-funcionários da Google e pioneiros em estudos de IA. A dupla foi recontratada pela Google em agosto, quando a companhia adquiriu licenças de parte das tecnologias da startup.

O serviço é uma espécie de catálogo com vários chatbots, permitindo que você escolha um perfil para conversar. É possível selecionar profissões (coach, personal trainer, poeta e até psicólogo, o que é bastante controverso), personagens da ficção (de animes, séries ou livros) e até figuras reais (como o bilionário Elon Musk ou personalidades históricas).

A página principal do serviço e alguns chatbots oferecidos. (Imagem: Character.AI/Reprodução)Fonte:  Character.AI 

Cada chatbot é moldado com características esperadas da sua personalidade, em vocabulário e tipos de resposta. Eles se mantêm no personagem, criando a sensação de que aquela é uma conversa de verdade. Se o usuário quiser, pode até criar o próprio chatbot do zero, personalizando “voz, inícios de conversa, entoação e muito mais“.

Para amenizar a ideia de que há um ser pensante do outro lado da tela, Peres sugere o reforço de que há um sistema automático do outro lado. “O primeiro passo é ter clareza de que uma IA não é uma ‘entidade viva’, um ser humano, e nunca será“, argumenta, defendendo que a IA até pode servir para casos de identificar padrões e gerar respostas específicas.

Qual a responsabilidade da IA nesses casos?

Como aponta Peres, IAs podem ter impactos positivos em saúde mental, mas há também riscos em especial pelo uso indevido das tecnologias. As IAs não leem as entrelinhas, por exemplo, e podem abrir espaço “para o isolamento social e dependências emocionais prejudiciais, intensificando sentimentos de solidão, alienação e decorrentes transtornos psiquiátricos”.

Shazeer, cofundador da Character.AI, disse em uma entrevista para um podcast recuperada pelo The New York Times que o serviço seria “super, super útil para muitas pessoas que estão sozinhas ou depressivas“. O chatbot, porém, não tinha até agora medidas de segurança para pessoas com questões de saúde mental. Sewell foi diagnosticado com síndrome de Asperger leve quando criança e, recentemente, com ansiedade e um transtorno de humor — questões que podem ser acentuadas na relação com a IA.

Psicólogo sugere reforçar que não é uma pessoa do outro lado da tela e regular tempo de uso de IAs. (Imagem: Getty Images)Fonte:  GettyImages 

“Em algum momento, as pessoas com tais vulnerabilidades percebem o vazio existencial, a aridez da não reciprocidade e, a despeito da tentativa de manterem a fantasia de uma relação, o sofrimento pode emergir com imensa força, às vezes devastadora“, explica o psicólogo.

A IA é só mais um dos riscos envolvendo a saúde mental de jovens, em uma lista que já inclui o uso exagerado de celulares até em salas de aula e questões de autoestima impulsionadas por redes sociais.

Como possíveis formas de reduzir essa convivência em excesso com um chatbot, Peres cita a promoção de atividades sociais e presenciais, como sair com amigos e parentes, além de regulação do tempo de uso dessas IAs. Outro ponto importante é manter o diálogo com crianças e adolescentes, “buscando entender e atender suas necessidades emocionais com qualidade e proximidade“.

O caso de Sewell é muito mais complexo do que colocar a culpa da IA: incidentes envolvendo questões de saúde mental exige, a compreensão do cenário completo para além do digital. Ainda assim, esses serviços devem se atentar a esses riscos — e talvez até responsabilizados — em especial agora que estão tão populares.

“Pode ser que tais relações se tornem mais comuns, mas isso não significa que elas serão saudáveis“, conclui o psicólogo.

O que diz a Character.AI?

Em nota após as reportagens sobre o processo, a Character.AI afirma que “leva a segurança dos usuários muito seriamente” e está “sempre procurando por formas de evoluir e melhorar a plataforma“. Ela também atualizou as medidas de proteção “incluindo novas barreiras para usuários abaixo de 18 anos“.

As mudanças incluem a alteração nos modelos liberados para menores de idade para reduzir “a probabilidade de encontrar conteúdos sensíveis ou sugestivos“; melhor detecção e intervenção para comandos “que violem os termos de uso da comunidade” e “notificações se a pessoa passou mais de uma hora em uma sessão“.

Ela ainda prometeu avisos reforçados a cada nova conversa iniciada de que o chat com a IA não envolve uma pessoal real do outro lado.

Prevenção de suicídio

O Centro de Valorização da Vida (CVV) é uma entidade fundada em 1962 que presta serviço voluntário e gratuito de apoio emocional e prevenção do suicídio para todas as pessoas que querem e precisam conversar.

Para entrar em contato, basta fazer uma ligação ao número 188 (que funciona 24 horas), mandar um e-mail para a entidade (apoioemocional@cvv.org.br) ou conversar pelo chat online no site https://www.cvv.org.br.

O chat funciona entre 9h e 01h (horário de Brasília) nas segundas e terças; entre 09h e 01, às quartas e quintas; de 13h e 01 nas sextas e sábados e entre 15h e 01h nos domingos.

Os voluntários do CVV são treinados para conversar com pessoas que procuram ajuda e apoio emocional e todas as conversas têm total sigilo e anonimato.

A posição do TecMundo sobre a regulação da IA

A Inteligência Artificial é uma realidade e vem se popularizando com uma velocidade incrível. Mas é preciso que a regulação dela siga no mesmo passo para evitar que o seu uso indiscriminado seja responsável por ferir pessoas — física ou psicologicamente.

No TecMundo acreditamos que a IA pode ser usada com sabedoria e — assim como toda a tecnologia — como uma forma de tornar a vida das pessoas melhor e mais simples.