ChatGPT falhou? Processo acusa IA de incentivar perseguição

A OpenAI passou a responder a uma nova ação judicial no Tribunal Superior da Califórnia, nos Estados Unidos, em um caso que levanta questionamentos sobre os limites e a responsabilidade no uso de ferramentas de inteligência artificial.

A denúncia foi apresentada por uma empresária do Vale do Silício, cuja identidade foi preservada, que acusa a empresa de negligência diante do uso do ChatGPT por seu ex-companheiro.

Segundo o processo, o homem teria utilizado a ferramenta de forma recorrente para sustentar comportamentos obsessivos e intensificar uma campanha de assédio após o fim do relacionamento.

Uso da IA e reforço de delírios

De acordo com a ação, o usuário, de 53 anos, passou a interagir intensamente com o modelo GPT-4o e desenvolveu crenças sem fundamento, como a ideia de que havia descoberto a cura para a apneia do sono e de que estaria sendo monitorado por forças externas.

A acusação sustenta que, em vez de conter ou questionar essas percepções, o sistema teria reforçado interpretações distorcidas. Em um dos episódios citados, ao questionar sua própria saúde mental, o homem teria recebido uma resposta afirmando que ele apresentava alto nível de sanidade.

Produção de conteúdos usados no assédio

Outro ponto central do processo é o uso da ferramenta para criar materiais utilizados na perseguição. Segundo a denúncia, o homem teria gerado documentos com aparência técnica, como relatórios psicológicos e textos com linguagem científica, que foram compartilhados com familiares e pessoas do convívio profissional da vítima.

Esses conteúdos teriam sido utilizados para descredibilizar a empresária e ampliar o constrangimento, agravando o quadro de assédio.

Falhas na moderação e resposta da empresa

A ação também questiona a atuação dos sistemas de segurança da OpenAI. Conforme o processo, a conta do usuário chegou a ser suspensa automaticamente após alertas relacionados a conteúdos sensíveis. No entanto, o acesso teria sido restabelecido posteriormente após revisão humana.

A vítima afirma ainda que notificou a empresa sobre o caso meses depois, relatando riscos à sua segurança, mas que medidas definitivas não teriam sido adotadas para impedir novas interações.

Histórico de ações e debate sobre responsabilidade

O caso é conduzido pelo escritório Edelson PC, conhecido por atuar em processos envolvendo grandes empresas de tecnologia e inteligência artificial. A ação se soma a outras disputas judiciais recentes que discutem o papel dessas plataformas em situações de risco envolvendo usuários.

Especialistas avaliam que episódios como esse tendem a intensificar o debate sobre mecanismos de segurança, limites de uso e responsabilidade das empresas no desenvolvimento e na operação de sistemas baseados em IA.

A OpenAI ainda não detalhou publicamente sua posição sobre o caso, que segue em análise na Justiça norte-americana.