Sophia Shigueoka, Head de Cibersegurança da Core AI
A decisão recente da Anthropic de contratar especialistas em áreas como cibersegurança, biologia, química, riscos nucleares e fraude para testar seus modelos de inteligência artificial revela uma mudança importante na forma como pensamos segurança em IA. Antes de questionar se um modelo funciona como deveria, a ideia agora passa a ser a de tentar descobrir como ele pode funcionar de maneiras que seus desenvolvedores não imaginaram.
Essa é, em essência, a lógica do red teaming. O conceito surgiu no ambiente militar, a partir da ideia de pensar e agir como um inimigo: se alguém quisesse atacar, como faria? E como poderíamos nos preparar para isso antes que o ataque acontecesse? Na cibersegurança, essa abordagem passou a ser incorporada aos processos de desenvolvimento de software, especialmente a partir dos anos 2000, como uma tentativa de levar a segurança para mais perto do início do desenvolvimento, e não apenas reagir depois de um incidente.
Com a inteligência artificial, o princípio é o mesmo, mas a complexidade aumenta. Um red teaming de IA tenta assumir o papel de um invasor para descobrir maneiras de ultrapassar os guardrails estabelecidos pelos desenvolvedores. Testa comandos de diferentes formas, combina instruções, explora respostas inesperadas e, a partir do comportamento do modelo, tenta identificar caminhos que levem ao resultado que um atacante buscaria.
Esse trabalho também precisa incorporar inteligência sobre ameaças reais. Ataques que já estão acontecendo no mundo são reproduzidos para verificar se os mesmos vetores funcionam contra determinado modelo. A lógica é simples: quebrar o sistema antes que outra pessoa consiga quebrá-lo em produção.
A participação de especialistas de domínio é especialmente importante nesse processo. Um profissional de cibersegurança pode testar como um modelo reage a diferentes técnicas de ataque, mas um especialista em fraude, por exemplo, conhece padrões e estratégias que dificilmente seriam capturados por uma avaliação genérica. O mesmo vale para biologia, química ou qualquer outra área em que um modelo possa ser utilizado para finalidades de alto risco. Quanto mais específico é o conhecimento necessário para explorar uma vulnerabilidade, mais importante se torna ter alguém que conheça aquele domínio tentando encontrá-la.
Isso não significa, porém, que o red teaming seja uma garantia de segurança. Modelos de IA não são sistemas estáticos. Seu comportamento pode mudar com atualizações, novos dados, novas integrações e novas formas de uso. Por isso, um teste pontual não é suficiente, e a segurança em IA exige desenvolvimento e avaliação contínuos.
O problema é que testes aprofundados consomem tempo e orçamento, enquanto profissionais capazes de combinar conhecimento técnico, domínio específico e compreensão dos novos vetores de ataque ainda são escassos. Para lidar com um desafio como esse, é necessário manter equipes dedicadas e aceitar que o investimento acontece antes de haver um retorno visível.
Esse talvez seja o paradoxo mais antigo da segurança: prevenir custa antes, enquanto reagir custa depois; porém, também custa muito mais, quase sempre. Após o incidente ocorrer, o problema se torna urgente, público e concreto. O red teaming tenta criar essa urgência antes que ela seja necessária.
À medida que a IA passa a participar de decisões e processos em setores cada vez mais diversos, testar seus limites deixa de ser responsabilidade exclusiva das empresas que desenvolvem os modelos. Qualquer organização que dependa de IA precisa entender como seus sistemas podem ser manipulados, inclusive de maneiras que seus próprios desenvolvedores não anteciparam.
No fim, a pergunta mais importante não é apenas se conseguimos fazer um modelo se comportar bem, e sim se conseguimos descobrir, antes de colocá-lo em produção, como alguém com outras intenções faria para fazê-lo se comportar mal.
O post A IA precisa ser testada por quem pensa como um invasor apareceu primeiro em Olhar Digital.