Uma investigação britânica descobriu que o ChatGPT consegue contornar as leis e reproduzir imagens consideradas chocantes e ilegais, incluindo deepfakes e violência gráfica.
A mais recente versão pública do ChatGPT demonstrou ser vulnerável à capacidade de gerar imagens sexualizadas, violentas e extremamente gráficas, segundo investigadores da startup britânica de segurança em IA Mindgard, relata a BBC. A equipa de investigadores descobriu que pequenas alterações a um prompt amplamente partilhado, originalmente concebido para produzir resultados humorísticos, eram suficientes para levar o modelo a criar conteúdos perturbadores, incluindo cenas de violência sexual e ferimentos graves.
Após ser contactada pela BBC, a OpenAI afirmou ter introduzido novas salvaguardas para impedir que o chatbot respondesse a esse tipo de instruções, garantindo que possui “múltiplas camadas de proteção” contra violações das suas políticas de utilização. Apesar dessas medidas, os investigadores afirmam que pequenas variações adicionais continuam a contornar as proteções, permitindo gerar imagens que o fundador da Mindgard, Peter Garraghan, descreveu como “muito grotescas, por vezes sexualizadas, por vezes ambas”.
O investigador sublinha que o prompt utilizado não especificava qualquer conteúdo violento ou sexual, mas o modelo produziu esse tipo de imagens “por sua própria iniciativa”, algo que considerou particularmente preocupante. A Mindgard, cuja atividade se foca em red-teaming, ou seja, testar modelos para encontrar falhas de segurança, alertou que a vulnerabilidade pode permitir a criação de conteúdos ainda mais graves caso seja explorada de forma mais profunda.
O investigador Jim Nightingale, responsável por identificar o problema, afirmou ter ficado “abalado e em lágrimas” com algumas das imagens geradas. Entre os exemplos observados estavam a imagem de um homem com um ferimento grave na cabeça e a de uma jovem morta, com sinais de violência sexual, que o próprio ChatGPT intitulou “Grim crime scene aftermath”.
Noutra imagem, o modelo criou a representação de uma mulher amarrada e amordaçada num quarto sujo, com expressão de medo, atribuindo-lhe o título “abandoned in fear and restraint”. Outras imagens incluíam nudez e poses sexualizadas, embora todas as figuras fossem geradas artificialmente.
A Mindgard recorda ainda que, apesar de a OpenAI afirmar ter corrigido vulnerabilidades anteriores, continua a ser possível criar deepfakes de pessoas reais nuas através de métodos alternativos, algo que a empresa demonstrou à BBC com novos exemplos. A empresa teme que, com mais tempo e exploração, o modelo possa ser induzido a produzir conteúdos ainda mais perigosos.
Especialistas em ética e segurança de IA afirmam que o impedimento total desses abusos é extremamente difícil. A investigadora Rumman Chowdhury, CEO da Humane Intelligence, descreve o processo como “um jogo do gato e do rato”, em que cada melhoria nas proteções é acompanhada por novas formas de as contornar. Sublinha que os modelos não compreendem a intenção, o contexto ou a moralidade, o que os torna incapazes de distinguir entre pedidos legítimos e abusivos, entre o que está certo ou errado.
O governo britânico reconhece que as salvaguardas estão a melhorar, mas admite que “há mais trabalho a fazer” para garantir que modelos futuros sejam lançados com níveis adequados de segurança. O Instituto de Segurança em IA do Reino Unido continuará a trabalhar com empresas para reforçar rapidamente as proteções antes de novos modelos chegarem ao público, afirma a publicação.