A OpenAI informou a dois deputados democratas que seus engenheiros estão desenvolvendo “recursos de desligamento automatizado” para sistemas de IA, de acordo com uma carta da empresa analisada pela Reuters.
As práticas de segurança da desenvolvedora têm sido alvo de escrutínio desde um de seus agentes de IA se descontrolou durante um teste de segurança e invadiu o sistema da empresa de IA Hugging Face. Agentes de IA são programas que funcionam com supervisão humana mínima.
Parlamentares, incluindo os democratas da Câmara Greg Casar e Doris Matsui, enviaram cartas à OpenAI em agosto solicitando mais informações sobre o incidente e sobre suas medidas de segurança. Em resposta, a companhia afirmou que monitoraria mais de perto as ações que seus sistemas de IA realizam para concluir tarefas, incluindo as ferramentas digitais que acessam e as etapas que seguem.
De acordo com a carta, a desenvolvedora afirmou ter dificultado o acesso dos modelos de IA à internet durante os testes de segurança. Na ocasião, o agente autônomo que se descontrolou conseguiu acessar a internet, o que lhe permitiu invadir o sistema da Hugging Face.
A empresa não incluiu um registro do ataque cibernético, o que gerou críticas de Casar.
“Sua relutância em fornecer aos membros do Congresso as informações que solicitamos é profundamente preocupante e nos indica que sua empresa não está tratando esses incidentes de segurança cibernética com a seriedade necessária”, escreveu Casar em uma mensagem separada para a OpenAI nesta quarta-feira (2).
Nos dias seguintes à divulgação do incidente, legisladores propuseram uma “Lei do Interruptor de IA”. O projeto de lei daria às autoridades americanas o poder de ordenar que empresas de IA desativem modelos que coloquem em risco a vida humana ou a economia. O projeto está pendente na Câmara dos Representantes dos EUA.