Não ignore o “prompt injection”

O uso de plataformas conversacionais embarcadas com inteligência artificial pode trazer riscos por causa da forma como elas geram respostas. A saber, uma razão é sua “geração estocástica” de resultados, isto é, ao invés de escolher a palavra mais provável, esses sistemas usam de um método chamado decodificação autorregressiva na sua amostragem para gerar uma excelente resposta generalista (e imprevisível). 

Além disso, os LLMs apresentam outros três riscos fundamentais relacionados a sua natureza probabilísticas, que são as alucinações (que são a geração de conteúdo incorreto, impreciso e/ou enviesado), o risco denominado “jailbrakers” (que são uma espécie de contornos das regras de conformidade); e os chamados “prompt injection” (injeção de prompt malicioso), que será abordado no âmbito jurídico no decorrer do texto. 

A Resolução 615/2025 do CNJ define regras para criar, usar e controlar soluções de inteligência artificial no Judiciário. Já a Recomendação 1/2024, do Conselho Federal da OAB, orienta advogados sobre como usar a IA prática jurídica, seguindo princípios éticos e legais. De fato, ambas as normativas, especificam questões técnicas para o uso da IAGen de forma adequada para gerar grau de confiabilidade em todo sistema judicial, seja no uso consciente, vedando a absoluta dependência tecnológica, com a supervisão e baseado na centralidade humana.

Entretanto, as injeções de prompt representam um desafio significativo para a segurança em sistemas baseados em LLMs, que segundo a OpenAI é quando um adversário embute instruções em inputs (forma direta) ou em fontes externas que o LLM lê (forma indireta), enganando o modelo para ignorar a política original e fazer algo não intencional. Conforme a IBM, o hacker cria um prompt para substituir as instruções originais do usuário e transforma em uma ferramenta controlada pelo invasor. Segundo a Microsoft, a defesa contra injeções de prompt indiretos requer uma abordagem multicamadas que combine técnicas preventivas e detectivas, bem como filtragem de conteúdo e validação de entradas. Esses ataques podem fazer com que os modelos de linguagem se tornem ferramentas para crimes digitais, espalhar vírus, roubar dados sigilosos e controlar sistemas. 

No contexto jurídico, isso pode comprometer a integridade processo, violar normas como a LGPD, bem como representar um risco grave. Explico: imagine uma ação de habeas corpus com um comando malicioso oculto no texto ou nos metadados. Esse documento é usado por um sistema de IA para ser sumarizado, comparado ou confrontado por decisões anteriores. Neste cenário, poderá haver uma indução para a concessão da ordem, mesmo com decisões contrárias, o que gera risco a segurança das decisões, especialmente se não houver a devida supervisão humana.

Reforça-se a importância da supramencionada centralidade humana e das orientações da Nota Técnica nº 2 do TJRO. Este documento alerta para casos de injeção de prompt no Judiciário e descreve técnicas usadas por atacantes, como texto oculto em fonte branca sobre fundo branco, instrução nos metadados de arquivos PDF e comandos inseridos em camadas ocultas de documentos, as quais representam ameaças reais à integridade dos sistemas judiciais eletrônicos.

A ação deliberada de inserção de instruções ocultas ou manipulativas em documentos processuais é grave e pode comprometer o devido processo legal, o processo judicial eletrônico, a isonomia, bem como o contraditório e ampla defesa. A referida Nota Técnica do TJRO define medidas de controle, tais como: manter registros (logs) de todas as interações, conversão para eliminação de metadados e realização de testes periódicos para identificar inconsistências, pois ataques desse tipo geram violações dos deveres processuais e éticos. 

Não ignore as instruções acima, pois quando a IA, o processo e o Direito se encontram, só respostas técnicas, normativas e éticas bem articuladas mantêm tudo nos trilhos da integridade, da segurança e da confiança pela sociedade.

Nome: Tiago Carneiro Rabelo

Analista Judiciário (TJDFT)

Especialista em Direito Digital e Processo Civil

Professor da Lei n. 11.419/2006 – Processo Judicial Eletrônico, Direito Digital e Resoluções tecnológicas do CNJ no GRAN.

Graduando CST em Inteligência Artificial

Rede social – Instagram: @prof.tiagorabelo