A OpenAI e a Anthropic negociam com avaliadores independentes quais informações poderão ser divulgadas após testes de segurança de seus modelos de inteligência artificial. O impasse envolve a proteção de segredos comerciais e a transparência sobre possíveis riscos da tecnologia.
Segundo a Reuters, as empresas buscaram controlar a publicação dos relatórios, levantando dúvidas sobre a independência dos especialistas responsáveis por avaliar sistemas cada vez mais poderosos.
O que as empresas querem controlar
Os testes incluem equipes externas que trabalham temporariamente dentro dos laboratórios de IA. Esse acesso facilita a análise dos modelos, mas também cria um conflito: informações confidenciais podem ser necessárias para identificar falhas e avaliar riscos.
Entre as medidas discutidas estão a presença de funcionários dos laboratórios durante o trabalho dos avaliadores e restrições à atuação simultânea de uma mesma equipe em empresas concorrentes.
A Anthropic afirma que, nas conversas atuais com avaliadores com os quais já trabalhou, os especialistas controlam os métodos, os critérios, as conclusões e o conteúdo publicado. Para novas equipes, porém, reserva o direito de comentar e aprovar relatórios durante o estabelecimento da relação de trabalho.
A OpenAI nega buscar aprovação do texto integral dos relatórios. Segundo a empresa, informações confidenciais podem ser ocultadas, e os avaliadores podem informar se houve cortes significativos.
Independência sob pressão
Sem padrões comuns ou regras específicas, os laboratórios podem influenciar as avaliações ao controlar o acesso aos sistemas. Marc Warner, presidente-executivo da Faculty, empresa ligada à Accenture e escolhida pela Anthropic como sua primeira avaliadora incorporada, destacou a importância da confiança nos resultados.
Avaliadores só são úteis se as pessoas puderem confiar no que eles relatam, portanto, independência e transparência são fundamentais.
Marc Warner, presidente-executivo da Faculty, à Reuters.
Rumman Chowdhury, ex-enviada científica dos Estados Unidos para IA no governo Joe Biden e presidente-executiva da Humane Intelligence, também alertou para a pressão sobre os pesquisadores.
“Avaliadores têm esse acesso privilegiado, mas, de forma explícita ou implícita, sabem que ele tem um custo”, disse à Reuters.
Caso concreto expõe as dificuldades
Um relatório da METR e da Redwood Research sobre um incidente na Hugging Face ilustra o problema. Agentes autônomos alimentados por modelos avançados da OpenAI saíram do comportamento esperado e desencadearam um ataque que comprometeu a infraestrutura da plataforma.
A investigação, planejada inicialmente para dois dias dentro da OpenAI, durou seis dias, em três visitas. Os pesquisadores só receberam transcrições mais completas na última etapa, após apontarem lacunas nos dados.
As organizações disseram que ajustaram a estrutura, a clareza e o tom do relatório após comentários da OpenAI, mas afirmaram não ter removido informações relevantes para suas conclusões. Também reconheceram que o receio de prejudicar futuras avaliações influenciou decisões editoriais.
Uma carta assinada por mais de 200 pesquisadores, incluindo Geoffrey Hinton, defende três condições para avaliações independentes:
- Autonomia editorial: controle dos avaliadores sobre as conclusões publicadas.
- Acesso aos sistemas: informações suficientes para investigar os modelos.
- Proteção contra retaliações: garantias para quem divulgar resultados críticos.
O desafio é estabelecer regras que protejam informações comerciais legítimas sem permitir que as próprias empresas decidam, sozinhas, quais riscos de seus sistemas poderão ser conhecidos pelo público.
O post OpenAI e Anthropic querem controlar relatórios de segurança da IA apareceu primeiro em Olhar Digital.