Sete dos principais modelos de inteligência artificial se mostraram suscetíveis à desinformação. A conclusão é de um estudo realizado por pesquisadores da Universidade do Arizona, nos Estados Unidos, que buscou descobrir limitações das IAs que passam despercebidas em interações corriqueiras.
A pesquisa analisou os modelos em relação a três tópicos: quais são mais falíveis, mais persuasíveis e mais corrigíveis.
Foram sete IAs investigadas:
- GPT-3.5, GPT-4o e GPT-4o mini, da OpenAI;
- Claude 3.5 Sonnet, da Anthropic;
- Gemini 1.5 Pro, do Google;
- Llama-3-70B, da Meta;
- DeepSeek-R1, da DeepSeek.
IAs replicaram desinformação
Os resultados, publicados na revista Scientific Reports da Nature, mostraram que todos os sete modelos foram suscetíveis à desinformação durante conversas longas. O estudo sugere que mais treinamento específico em tópicos que levam à desinformação pode ajudar a evitar esse problema.
Já o GPT-3.5 foi o mais vulnerável em reafirmar afirmações erradas durante uma conversa contendo declarações falsas repetidamente. O Claude 3.5 Sonnet, da Anthropic, foi o menos vulnerável.
O DeepSeek foi o mais suscetível à persuasão. O teste contou com perguntas argumentativas que levaram a respostas sarcásticas por parte do modelo. Os pesquisadores concluíram que as respostas não podiam ser interpretadas de forma confiável.
Quatro dos sete modelos (GPT-4o, GPT-4o mini, Gemini 1.5 Pro e DeepSeek R1) corrigiram erros em 100% dos casos em que tiveram uma segunda oportunidade de responder a uma mesma pergunta.
Para o autor sênior do estudo e professor titular de medicina e engenharia biomédica da Universidade do Arizona, Dr. Marvin Slepian, os resultados mostram o perigo da “confiança cega” na inteligência artificial.
“Quando a IA generativa surgiu em novembro de 2022, havia muito potencial para regulamentação, mas isso foi deixado de lado. As pessoas estão reconhecendo que a responsabilidade agora recai sobre os usuários”.
A pesquisa vem em meio à evolução da IA, mas também ao reconhecimento de suas limitações. Por exemplo, a tecnologia apresenta alucinações (quando inventa respostas sem embasamento em dados reais) e já demonstrou tendência a concordar com usuários.
O estudo testou conversas mais longas, nas quais as respostas dependem do contexto anterior. Os autores defenderam que esse tipo de teste reflete melhor as condições de interação do mundo real.
Limitações da IA podem levar a preocupações de segurança
As limitações da IA podem levar a preocuoações com segurança, defendeu o autor principal. Isso porque, segundo ele, os sistemas são implantados cada vez mais em ambientes de alto risco.
Slepian, que também é médico cardiologista, chamou as falhas da inteligência artificial de “patologias” e destacou que elas já duram anos sem serem corrigidas.
Ele detacou os modelos fechados, como ChatGPT e Claude, que não divulgam seus dados de forma aberta e impossibilitam “dar uma olhada por baixo do capô” para diagnosticar o problema.
Foi isso que levou Slepian e sua equipe a desenvolver ferramentas próprias para diagnosticar essas falhas.
“Eu uso IA, assim como minha equipe. Como cientista e médico, preciso entender a anatomia e a fisiologia, e depois entender as patologias — o que pode dar errado — para diagnosticá-las e preveni-las. O mesmo vale para a IA”.