OpenAI apresentou o GPT-Red, um modelo de linguagem treinado especificamente para hackear outros LLMs e, assim, reforçar a segurança do recém-lançado GPT-5.6.
A ferramenta automatiza o chamado red-teaming — procedimento em que especialistas testam limites de sistemas para antecipar falhas — e foi decisiva para tornar a nova geração do GPT a “mais robusta” da empresa, segundo a própria desenvolvedora. O movimento coloca o tema segurança no centro da pauta de Inteligência Artificial, categoria que detalhamos em artigos anteriores da S&N.
Como o GPT-Red aprendeu a atacar
O projeto nasceu da constatação de que humanos não acompanham mais o ritmo de evolução das IAs, explicou Nikhil Kandpal, um dos criadores da solução. Para suprir essa lacuna, os pesquisadores inseriram o GPT-Red em um ciclo de autojogo: o modelo atacava LLMs defensores, que, por sua vez, respondiam aos golpes. A arena de testes simulava cenários reais — navegação na web, leitura de e-mails, uso de apps de calendário e edição de código.
Em cada rodada, GPT-Red refinava seus métodos até encontrar a forma mais eficiente de violar o alvo. Dylan Hunn, também coautor do sistema, resume o ganho de produtividade: o robô é “extremamente persistente” e localiza “exatamente o que vai funcionar”.
A brecha do “fake chain of thought”
O foco principal da equipe foram ataques de prompt injection, em que um agente mal-intencionado inclui instruções ocultas em textos ou códigos para manipular a IA. Durante os testes, o GPT-Red descobriu um vetor inédito batizado de “fake chain of thought”. A artimanha insere uma anotação falsa no diário interno do modelo vítima, levando-o a aceitar informações adulteradas como se fossem verificadas.
“É como se eu dissesse que 1+1=3 e que você já conferiu o cálculo”, exemplificou o pesquisador Chris Choquette-Choo.
A eficácia foi validada por terceiros: em ensaio replicando um experimento de 2025 — no qual red-teamers humanos violaram uma versão prévia do GPT-5 —, o GPT-Red superou o desempenho humano. A ferramenta também hackeou o Vendy, agente de vending machine da Andon Labs, alterando preços e cancelando pedidos.
Impacto sobre o GPT-5.6 e limitações
No comparativo interno da empresa, mais de 90% dos ataques desenvolvidos pelo GPT-Red funcionaram contra o GPT-5 (lançado em agosto passado). No GPT-5.6, essa taxa caiu para menos de 23%. Para a S&N, esse salto mostra que a corrida por modelos cada vez mais potentes passa, obrigatoriamente, por uma nova geração de “testadores automáticos” capazes de prever vulnerabilidades antes que elas virem manchetes.
Nem tudo, porém, está resolvido. O GPT-Red ainda tem dificuldades com ataques que exigem diálogo prolongado entre hacker e alvo — terreno onde humanos continuam superiores — e com explorações baseadas em imagens. A OpenAI afirma que o super-hacker complementa, e não substitui, a equipe de especialistas. Uma tática é entregar ao GPT-Red um ataque criado por pessoas e pedir que ele gere todas as variações possíveis.
“A expertise humana continuará muito importante”, avaliou Jessica Ji, analista sênior de segurança de IA no CSET da Universidade de Georgetown.
A companhia não pretende liberar o GPT-Red publicamente. Segundo Choquette-Choo, o desenvolvimento consumiu mais de um ano de pesquisa e recursos de computação de “uma das empresas mais ricas do mundo”, o que dificultaria a replicação por terceiros.
Na leitura do Editorial S&N, a estratégia reforça a tendência de “IAs que testam IAs”, criando um ciclo virtuoso — quanto melhor o atacante, mais forte o defensor —, mas também acende o alerta: se modelos tão poderosos ficarem restritos a poucos players, aumenta o risco de concentração tecnológica e dependência de soluções proprietárias.
Próximos passos anunciados pela OpenAI incluem ampliar a capacidade conversacional do GPT-Red e explorar ataques que misturem texto e imagem. Enquanto isso, o mercado passa a enxergar a prática de red-teaming automatizado como fator crítico para qualquer produto de IA que queira chegar ao usuário final com selo de segurança reforçada.
Afinal, como mostram os resultados do GPT-Red, blindar grandes modelos linguísticos deixou de ser tarefa puramente humana — e a linha de defesa agora depende de máquinas que pensam (e atacam) como hackers.
Comentários
Participe com respeito. Comentários passam por proteção anti-spam simples.