Prompt injection, técnica que insere instruções invisíveis em textos destinados a modelos de linguagem, deixou o laboratório e passou a preocupar diretamente tribunais e órgãos públicos brasileiros.
Classificada pela OWASP como LLM01:2025, a vulnerabilidade ocorre quando entradas manipuladas alteram a saída do modelo sem que o usuário humano perceba. O efeito pode ir de vazamento de dados à interferência em decisões críticas.
Para além do aspecto técnico, o ataque tangencia princípios como contraditório, isonomia e motivação das decisões. Ao introduzir uma “fala” reservada à máquina, o documento cria um canal paralelo que pode influenciar resumos, triagens e minutas elaboradas por ferramentas de inteligência artificial.
Casos concretos expõem a nova fraude processual
Os episódios relatados confirmam que a fraude já migrou do argumento visível para a instrução algorítmica.
“O risco não depende de o comando ser visível ao ser humano. Basta que o conteúdo seja processado pelo modelo”, alerta a OWASP em sua nota técnica.
Na leitura do Editorial S&N, esse movimento indica que o setor público atingiu um ponto de inflexão: quanto mais a IA se torna infraestrutura cognitiva, maior o incentivo à manipulação silenciosa de seus insumos.
A Resolução CNJ n.º 615/2025, que regula o uso de IA no Judiciário, já exige supervisão humana, rastreabilidade e comunicação de incidentes. Diretrizes semelhantes aparecem no NIST AI Risk Management Framework e no AI Act europeu, que classifica sistemas de apoio a decisões judiciais como “alto risco”.
Da engenharia reversa à governança em camadas
Especialistas enumeram oito camadas de defesa que, combinadas, reduzem probabilidade e impacto:
- Higiene documental: normalizar arquivos, extrair texto com segurança e registrar versões.
- Segregação entre dados e instruções, marcando conteúdos externos como não confiáveis.
- Validação da saída, exigindo que resumos e minutas apresentem fontes.
- Princípio do privilégio mínimo: limitar o que a IA pode acessar ou executar.
- Monitoramento contínuo com logs, trilhas de auditoria e alertas.
- Teste adversarial periódico, simulando comandos ocultos e vazamento de prompt.
- Governança contratual que imponha segurança por desenho e transparência do fornecedor.
- Capacitação institucional de magistrados, servidores e técnicos sobre riscos e limites da tecnologia.
O National Cyber Security Centre do Reino Unido adverte que comparar prompt injection à clássica injeção de SQL é subestimar o problema; em modelos de linguagem, a fronteira entre dado e comando é tênue por definição probabilística.
Impacto além dos tribunais
A ameaça não se restringe ao processo judicial. Pedidos administrativos, propostas em licitações, relatórios de fiscalização ou e-mails internos podem carregar instruções invisíveis capazes de alterar rankings de avaliação, suprimir riscos ou acionar fluxos de trabalho automatizados. Quanto maior a autonomia concedida à IA — especialmente via APIs integradas a sistemas transacionais — maior o raio de dano potencial.
Por isso, o princípio da confiança automática precisa dar lugar ao ceticismo metodológico. Para a S&N, a disputa não será vencida por quem adotar IA mais rápido, mas por quem alinhar velocidade de inovação a controles proporcionais ao impacto sobre direitos e cofres públicos.
Programas como o recém-anunciado Proseg-IA, criado pelo Conselho Nacional de Justiça para tratar de segurança adversarial em sistemas de IA, sinalizam o início dessa virada cultural. Entretanto, a assimetria permanece: a criatividade dos atacantes costuma evoluir na mesma cadência da tecnologia.
O alerta final vem da própria experiência europeia: quando a IA influencia benefícios, sanções ou políticas públicas, o nível de governança deve ser tão robusto quanto o de setores críticos tradicionais. Caso contrário, a inovação corre o risco de trocar produtividade por vulnerabilidade — e o preço dessa troca recai sobre toda a sociedade.
Editorial S&N
Comentários
Participe com respeito. Comentários passam por proteção anti-spam simples.