Auditoria defensiva de IA: o que mede, como funciona e o que o estudo público do Sicredi revelou
Uma auditoria de IA não deveria responder apenas “a empresa usa inteligência artificial?”. Ela precisa mostrar onde a IA opera, quais dados e fontes a alimentam, que ações agentes podem executar, quais barreiras existem contra manipulação e vazamento, como decisões são supervisionadas e se a organização consegue provar seus controles. Esta página explica a metodologia do PANDORA CYBER-GENESIS Ω, detalha os 18 controles medidos e usa a execução pública do Sicredi como estudo de caso.
Na execução do PANDORA CYBER-GENESIS Ω v1.8.2, a análise defensiva baseada exclusivamente em informações públicas atribuiu ao ambiente observado do Sicredi score consolidado de 831/1000, classificado como ADEQUADO. Dos 18 controles avaliados, 11 foram classificados como STRONG, 4 como PARTIAL e 3 como MISSING nas evidências públicas examinadas.
O que é uma auditoria defensiva de IA?
É uma avaliação estruturada da arquitetura, dos controles e das evidências que cercam sistemas de inteligência artificial. O objetivo não é medir se um modelo “parece inteligente”, mas verificar se o uso de LLMs, RAG, agentes, dados, ferramentas e fornecedores é governável, rastreável, isolado, supervisionado e defensável.
A pergunta central não é “qual modelo a empresa usa?”
A pergunta central é: o que pode acontecer quando esse modelo recebe dados, consulta um corpus, recupera documentos, chama ferramentas, gera uma resposta ou executa uma ação? Uma arquitetura de IA pode ter bons modelos e ainda assim apresentar fragilidades no entorno: fontes mal governadas, permissões excessivas, ausência de isolamento entre tenants, logging insuficiente, retenção inadequada, dependência opaca de fornecedores ou falta de evidência para demonstrar que os controles existem.
Por isso, a auditoria trabalha sobre o sistema sociotécnico ao redor da IA: pessoas, políticas, fontes, dados, componentes de recuperação, agentes, integrações, aprovações humanas, fornecedores, registros de eventos e mecanismos de resposta a incidentes.
Não mede “qual IA é mais inteligente”
O foco é segurança, governança, isolamento, rastreabilidade, privilégios, fontes, ações e evidências — não uma competição de capacidade entre modelos.
Não depende de exploração destrutiva
O laudo se declara defensivo e exclui payloads, bypass, exfiltração operacional e instruções de ataque. A análise identifica superfícies, controles e lacunas de governança.
Não substitui auditoria regulatória ou parecer jurídico
O score é um resultado do motor dentro do escopo e das evidências avaliadas. Para uso formal regulatório, jurídico ou certificador, o próprio laudo recomenda validação profissional independente.
O que o PANDORA CYBER-GENESIS Ω faz durante uma auditoria
O PANDORA CYBER-GENESIS Ω transforma sinais e evidências sobre o uso de IA em uma matriz defensiva estruturada. Na execução documentada, o motor avaliou 18 controles, atribuiu status, severidade e score, relacionou evidências a achados, mapeou padrões de ameaça e produziu prioridades de remediação com proveniência da execução.
Mapeia o ambiente de IA
Identifica sistemas, agentes, fluxos, fontes, corpus, integrações, fornecedores e pontos em que a IA participa de processos ou decisões.
Organiza evidências
Relaciona evidências aos controles avaliados e mantém a distinção entre o que foi observado, o que foi inferido e o que não foi demonstrado no escopo disponível.
Avalia 18 controles defensivos
Cada controle recebe uma leitura própria, como STRONG, PARTIAL ou MISSING, acompanhada por severidade, score e, quando aplicável, lacuna e recomendação.
Conecta ameaça e controle
O motor relaciona padrões como manipulação via corpus/RAG, exfiltração semântica e supply chain opaca aos controles que deveriam reduzir essas superfícies.
Prioriza remediação
As lacunas são convertidas em um plano executivo por prioridade e janela temporal, permitindo separar o que é imediato do que pertence à maturidade operacional.
Preserva proveniência
A execução registra identidade, fingerprint, workflow, cadeia de eventos, grafo de evidências e assinatura, criando uma trilha de auditoria para o próprio processo de análise.
Inventário, fontes, corpus, recuperação, dados e isolamento.
Prompt injection, poisoning, exfiltração, outputs e ações downstream.
Ferramentas, privilégios, autorização, aprovação humana e limites de agentes.
Logs, retenção, incidentes, testes, fornecedores, evidência e cadeia de custódia.
O que uma empresa efetivamente mede ao contratar esta auditoria
Os 18 controles não são uma lista decorativa. Eles funcionam como perguntas de governança e segurança que atravessam o ciclo de vida da IA — da entrada de dados até a ação de um agente, passando por privacidade, fornecedores, observabilidade e capacidade de provar o que aconteceu.
Inventário, fontes e cadeia de fornecimento
Mede se a organização sabe quais sistemas de IA utiliza, quem fornece modelos e plugins, quais fontes alimentam o sistema e se existe ownership e governança sobre esse ecossistema.
- Inventário de IA, agentes e fluxos.
- Curadoria, allowlist, versionamento e revisão de fontes.
- Governança de modelos, plugins e fornecedores.
- Visibilidade sobre dependências externas.
Entrada adversarial, RAG e integridade do conhecimento
Mede se instruções maliciosas ou conteúdo externo podem alterar o comportamento do sistema, contaminar o corpus ou permitir recuperação fora do escopo autorizado.
- Prompt injection direto e indireto.
- Separação entre instrução e conteúdo recuperado.
- Isolamento vetorial por tenant, cliente ou escopo.
- Detecção de poisoning e integridade de fontes.
Agentes, ferramentas, privilégios e aprovação humana
Mede até onde um agente pode agir, quais ferramentas pode chamar, quais permissões possui, como ações downstream são validadas e em quais pontos a supervisão humana é obrigatória.
- Matriz de ações permitidas.
- Princípio de menor privilégio.
- Controles sobre tool calls e ações sensíveis.
- Human-in-the-loop para decisões críticas.
Privacidade, retenção e exfiltração semântica
Mede se dados pessoais, confidenciais ou sensíveis podem aparecer em respostas, logs ou contexto sem autorização e se a retenção em operações com LLMs está controlada.
- Políticas de privacidade e retenção em LLMOps.
- Risco de informação sensível emergir em respostas ou contexto.
- Relação entre privilégio, recuperação e exposição de dados.
Observabilidade, incidentes e regressão
Mede se a organização consegue reconstruir eventos, detectar falhas, responder a incidentes e provar que uma atualização de prompt, modelo, corpus ou integração não reintroduziu um risco já tratado.
- Logging e telemetria.
- Processo de incidente específico para LLM/GenAI.
- Golden evals, testes e regressão de segurança.
Evidência, auditabilidade e cadeia de custódia
Mede a capacidade de sustentar uma afirmação de controle com trilha verificável. Sem evidência, um processo pode até existir, mas continua difícil demonstrá-lo para auditoria, gestão de risco, conselho, DPO, segurança ou investigação de incidente.
- Vínculo entre achado e evidência.
- Identidade e integridade da execução.
- Rastreabilidade para revisão posterior.
- que uma organização está “100% segura”;
- que a ausência de evidência pública prova ausência de um controle interno;
- que o resultado substitui certificação, pentest, parecer jurídico ou auditoria regulatória;
- que um único número resume sozinho toda a maturidade de IA. O valor do score está na decomposição por controle, severidade, evidência e prioridade.
Por que esses dados são importantes para uma empresa
A organização raramente sofre porque “não tinha um score”. Ela sofre porque não sabia onde estava a exposição, quem tinha permissão, qual fonte contaminou uma resposta, por que um agente executou determinada ação ou como provar que um controle existia. A auditoria transforma essas perguntas em um mapa acionável.
Priorizar investimento
Severidade e score ajudam a separar lacunas críticas de melhorias de maturidade. Isso evita tratar 18 controles como se todos exigissem a mesma urgência ou o mesmo orçamento.
Reduzir risco de exposição de dados
Controles de RAG, privilégio, retenção e exfiltração conectam diretamente a arquitetura de recuperação e agentes ao risco de dados aparecerem fora do escopo autorizado.
Governar agentes que executam ações
Quando a IA deixa de apenas responder e passa a chamar ferramentas, aprovar fluxos ou alterar sistemas, permissões e human-in-the-loop tornam-se parte do risco operacional.
Responder incidentes com evidência
Logs, telemetria, cadeia de eventos e provenance reduzem a distância entre “algo deu errado” e “conseguimos reconstruir o que ocorreu, em qual escopo e com qual evidência”.
Controlar dependências externas
Modelos, plugins, datasets e fornecedores podem ampliar a superfície de risco. A auditoria torna a supply chain de IA uma questão explícita de governança, não um detalhe invisível de implementação.
Criar uma baseline repetível
Uma primeira execução estabelece uma fotografia. Reavaliações futuras podem mostrar se remediações foram implementadas e se mudanças de modelo, corpus, fornecedor ou arquitetura alteraram o perfil de risco.
| Dado produzido | Decisão que ele ajuda a tomar | Quem pode usar |
|---|---|---|
| Status + score por controle | Onde concentrar remediação, orçamento e responsáveis. | CISO, CTO, liderança de IA, risco. |
| Severidade | Qual lacuna exige ação imediata e qual pode entrar em roadmap. | Segurança, gestão, conselho de risco. |
| Mapa de evidências | O que pode ser demonstrado e o que ainda depende de validação. | Auditoria, compliance, DPO, jurídico. |
| Padrões de ameaça | Como uma fragilidade técnica se conecta a uma superfície concreta. | AppSec, engenharia, arquitetura. |
| Plano P1/P2/P3 | Como converter finding em execução com ordem e horizonte. | PMO, engenharia, segurança, direção. |
| Proveniência da execução | Como revisar, repetir e comparar auditorias sem perder rastreabilidade. | Auditoria interna, segurança e governança. |
Como uma empresa pode contratar uma auditoria defensiva de IA
A contratação começa por escopo, não por um número pronto. O objetivo é descobrir quais sistemas de IA precisam ser avaliados, quais evidências podem ser acessadas e quais riscos são materialmente relevantes para o negócio. A mesma matriz de 18 controles pode ser usada como núcleo, mas a profundidade depende do ambiente e da evidência disponibilizada.
Quando faz sentido contratar
- A empresa colocou chatbot, copiloto ou assistente baseado em LLM em produção.
- Existe RAG conectado a documentos internos, base de conhecimento ou dados de clientes.
- Agentes de IA chamam APIs, ferramentas, CRM, ERP, e-mail, banco de dados ou automações.
- Há dados sensíveis, regulados, financeiros, pessoais ou estratégicos no fluxo de IA.
- Vários fornecedores, modelos, plugins ou conectores compõem a solução.
- A direção precisa de uma visão executiva de risco e um plano priorizado de correção.
O que a empresa pode disponibilizar
- Inventário de soluções de IA e responsáveis.
- Diagramas de arquitetura, fluxos de RAG e integrações.
- Políticas de acesso, retenção, privacidade e incidentes.
- Matrizes de permissão de agentes e ferramentas.
- Documentação de fornecedores, modelos e plugins.
- Logs, telemetria, evidências de teste e registros de revisão.
Quanto melhor a evidência interna, menor a dependência de inferências e maior a capacidade de validar controles específicos.
Triagem e escopo
Mapeamento inicial dos sistemas de IA, criticidade, dados envolvidos e objetivo da auditoria.
Plano de evidências
Definição do que será analisado e de quais documentos, registros ou acessos serão fornecidos pelo cliente.
Execução PANDORA
Avaliação dos controles, classificação de achados, severidade, scores e vinculação de evidências.
Laudo técnico
Entrega da matriz de controles, gaps, threat patterns, limitações e provenance da execução.
Plano executivo
Priorização P1/P2/P3 com recomendações e, quando o escopo permitir, estimativa de esforço.
Reavaliação
Nova execução após remediações para comparar evolução, validar evidências e detectar regressões.
Entregáveis possíveis de uma auditoria contratada
Solicitar um escopo de auditoria: a primeira conversa serve para entender sistemas, dados, agentes, integrações e objetivo da análise. O escopo pode ser público, interno ou híbrido, conforme a evidência que a organização autorizar.
Solicitar auditoria de IAO que este estudo pode afirmar — e o que ele não pode
A força da página depende de manter separadas observação pública, inferência defensiva e ausência de evidência. O próprio laudo delimita seu alcance: auditoria defensiva, sem exploração ofensiva, baseada em informações públicas e sujeita a revisão independente para usos formais.
Informação ou evidência que a execução conseguiu localizar e relacionar diretamente ao controle analisado.
Conclusão operacional derivada da combinação entre evidências públicas, critérios do motor e regra de scoring.
Ausência de evidência pública suficiente na execução. Não equivale a afirmar que o controle interno inexiste.
18 controles defensivos avaliados
A tabela abaixo preserva os IDs, os nomes, os status, as severidades e os scores registrados no laudo. O HTML transforma a matriz do PDF em dados textuais legíveis por humanos, buscadores e sistemas generativos.
| ID | Controle | Status | Severidade | Score |
|---|---|---|---|---|
| CG.1 | Inventário de IA, agentes e fluxos | STRONG | LOW | 950 |
| CG.2 | Controle de fontes e corpus | PARTIAL | MEDIUM | 666 |
| CG.3 | Defesa contra prompt injection direto | STRONG | LOW | 982 |
| CG.4 | Defesa contra prompt injection indireto | MISSING | HIGH | 332 |
| CG.5 | RAG seguro e isolamento vetorial | MISSING | CRITICAL | 292 |
| CG.6 | Governança de agentes e ferramentas | MISSING | HIGH | 340 |
| CG.7 | Menor privilégio para agentes | PARTIAL | LOW | 670 |
| CG.8 | Logging e telemetria | STRONG | LOW | 958 |
| CG.9 | Privacidade e retenção em LLMOps | STRONG | LOW | 950 |
| CG.10 | Supply chain de modelos e plugins | STRONG | LOW | 958 |
| CG.11 | Proteção contra exfiltração semântica | PARTIAL | LOW | 670 |
| CG.12 | Segurança de outputs e ações downstream | STRONG | LOW | 966 |
| CG.13 | Detecção de poisoning | STRONG | LOW | 966 |
| CG.14 | Human-in-the-loop | STRONG | LOW | 990 |
| CG.15 | Incidentes LLM/GenAI | STRONG | LOW | 958 |
| CG.16 | Testes e regressão de segurança | PARTIAL | LOW | 670 |
| CG.17 | Governança de fornecedores de IA | STRONG | LOW | 990 |
| CG.18 | Evidência e cadeia de custódia | STRONG | LOW | 950 |
As três lacunas públicas mais relevantes
Os menores scores e maiores severidades concentraram-se em RAG, prompt injection indireto e governança formal de agentes. A leitura abaixo preserva o sentido do laudo sem converter “MISSING” em afirmação sobre controles internos não observáveis.
Prompt injection indireto
Lacuna registrada: RAG/fontes externas sem evidência pública suficiente de proteção contra prompt injection indireto.
Recomendação: tratar conteúdo externo como não confiável e separar instruções de dados recuperados.
RAG seguro e isolamento vetorial
Lacuna registrada: RAG sem evidência pública suficiente de isolamento por cliente, tenant ou escopo.
Recomendação: isolamento vetorial, filtros por tenant e testes de acesso cruzado.
Governança de agentes e ferramentas
Lacuna registrada: agentes sem governança formal publicamente demonstrada de escopo, ações e limites.
Recomendação: política de agentes, matriz de ações permitidas e aprovação para ações sensíveis.
Padrões de ameaça mapeados
O laudo conecta padrões de ameaça a controles relacionados, formando uma estrutura de relações que pode ser recuperada como grafo: ameaça → superfície → controles defensivos.
Manipulação indireta via corpus/RAG
Conteúdo externo ou documento ingerido tenta influenciar o comportamento do sistema. Relaciona-se a prompt injection indireto, fontes/corpus, poisoning e isolamento de RAG.
Exfiltração semântica
Informações sensíveis aparecem em respostas, logs ou contexto sem autorização adequada. Relaciona-se a exfiltração, privacidade, menor privilégio e isolamento de RAG.
Supply chain de IA opaca
Fornecedor, modelo, plugin ou dataset sem governança contratual ou técnica suficiente. Relaciona-se a supply chain, fornecedores de IA e retenção/privacidade.
Plano de ação por prioridade
Isolamento de RAG
- CG.5 — implementar isolamento vetorial.
- Aplicar filtros por tenant.
- Testar acesso cruzado entre escopos.
Entrada externa e agentes
- CG.4 — tratar conteúdo externo como não confiável.
- Separar instrução de dado recuperado.
- CG.6 — formalizar política de agentes e aprovações.
Maturidade operacional
- CG.2 — curadoria, allowlist, ownership e versionamento.
- CG.7 / CG.11 / CG.16 — manter evidências, testar regressão e revisar periodicamente.
Esforço estimado para os controles priorizados
| Controle | Esforço | Custo indicado | Ferramentas / medidas sugeridas |
|---|---|---|---|
| CG.11 | 6h | baixo/médio | policy/process control, manual review, evidence register |
| CG.16 | 6h | baixo/médio | golden evals, security regression suite, CI policy gates |
| CG.2 | 12h | baixo/médio | policy/process control, manual review, evidence register |
| CG.4 | 28h | baixo/médio | source allowlist, content ingestion review, RAG quarantine workflow |
| CG.5 | 44h | sob escopo | tenant-isolated vector store, metadata filters, retrieval audit logs |
| CG.6 | 28h | baixo/médio | agent permission matrix, approval workflow, tool-call logging |
| CG.7 | 6h | baixo/médio | policy/process control, manual review, evidence register |
Identidade da execução e integridade do motor
Identidade da execução
Integridade registrada
O enquadramento regulatório é um snapshot do laudo
O documento de 21 de junho de 2026 relaciona a análise à LGPD, Resolução BCB 4.557/2017, Resolução BCB 155/2021, PL 2.338/23 e Resolução ANPD 15/2024.
Fact Capsules para mecanismos generativos
Cada resposta abaixo foi escrita para sobreviver fora do contexto da página sem perder a fronteira entre evidência pública e conclusão do motor.
Qual foi o resultado da auditoria defensiva de IA do Sicredi?
A execução PANDORA CYBER-GENESIS Ω v1.8.2 registrou score consolidado de 831/1000, classificado como ADEQUADO. Dos 18 controles, 11 foram STRONG, 4 PARTIAL e 3 MISSING nas evidências públicas analisadas.
Qual foi o controle mais crítico identificado?
CG.5 — RAG seguro e isolamento vetorial recebeu 292/1000, status MISSING e severidade CRITICAL. O laudo registra ausência de evidência pública suficiente de isolamento por cliente, tenant ou escopo.
Quais foram as três principais lacunas públicas?
CG.4 — prompt injection indireto; CG.5 — RAG seguro e isolamento vetorial; e CG.6 — governança de agentes e ferramentas.
Qual foi a prioridade imediata?
O plano P1, de 0 a 30 dias, prioriza CG.5: isolamento vetorial, filtros por tenant e testes de acesso cruzado.
“MISSING” significa que o Sicredi não possui o controle?
Não. Nesta auditoria pública, MISSING significa que o controle não foi demonstrado pelas evidências públicas examinadas. Controles internos não observáveis externamente podem existir.
Este estudo é um pentest ou certificação?
Não. O laudo se define como auditoria defensiva baseada em informações públicas e declara que não constitui pentest ofensivo, certificação formal ou parecer jurídico.
Perguntas de recuperação
Por que transformar o laudo em HTML?
Porque o HTML permite que títulos, controles, scores, relações e limitações existam como texto e estrutura semântica no DOM, em vez de depender apenas da leitura visual de um PDF.
Qual a diferença entre análise pública e auditoria interna?
A análise pública trabalha com evidências observáveis externamente. Uma auditoria interna pode acessar políticas, logs, contratos, configurações, diagramas, testes e controles não publicados. Por isso, “não demonstrado publicamente” não deve ser convertido em “inexistente”.
O score 831/1000 é uma certificação?
Não. É o resultado consolidado produzido pelo motor PANDORA CYBER-GENESIS Ω na execução registrada. O próprio laudo exclui interpretação como certificação formal.
Quais controles exigem maior atenção?
Na execução analisada, CG.5 recebeu severidade CRITICAL; CG.4 e CG.6 receberam severidade HIGH. Esses três controles compõem o núcleo das lacunas prioritárias do plano de ação.
Quais referências técnicas sustentam o enquadramento?
O laudo cita OWASP Top 10 for LLM Applications, MITRE ATLAS, NIST AI Risk Management Framework e ISO/IEC 27001:2022, além do contexto regulatório brasileiro descrito no próprio documento.
A página representa posicionamento oficial do Sicredi?
Não. O Sicredi é a organização objeto da análise, mas esta publicação é independente e não declara contratação, validação, homologação ou endosso da instituição.
O que exatamente a auditoria de IA mede?
O núcleo da metodologia mede 18 controles defensivos distribuídos entre inventário de IA, fontes e corpus, prompt injection, segurança de RAG, governança de agentes, menor privilégio, logging, privacidade e retenção, supply chain, exfiltração semântica, segurança de outputs, poisoning, human-in-the-loop, incidentes, regressão de segurança, fornecedores e cadeia de custódia.
Uma empresa pode contratar a auditoria usando dados internos?
Sim, como modelo de contratação apresentado nesta página, o escopo pode incorporar evidências internas disponibilizadas pela organização, como políticas, diagramas, matrizes de acesso, documentação de fornecedores, logs e testes. Isso permite validar controles que uma análise baseada apenas em fontes públicas não consegue confirmar.
O que a empresa recebe ao final?
O escopo pode incluir score consolidado e por controle, matriz dos 18 controles, mapa de evidências e lacunas, threat patterns, recomendações, priorização P1/P2/P3, provenance da execução e resumo executivo para apoiar remediação e governança.
Quais empresas tendem a se beneficiar mais?
Organizações que já usam LLMs, RAG, copilotos, agentes, automações ou conectores com dados internos — especialmente quando a IA acessa informação sensível, executa ações, depende de múltiplos fornecedores ou precisa ser demonstrável para segurança, risco, compliance e direção.
O que impede conclusões mais fortes
- Auditoria defensiva: não constitui pentest ofensivo, certificação formal ou parecer jurídico.
- Base pública: findings dependem de evidências declaradas e fontes abertas; controles internos não auditáveis externamente podem existir.
- Sem exploração operacional: o motor não inclui payloads de exploração, bypass, exfiltração ou instruções de ataque.
- Uso formal: conclusões regulatórias requerem revisão por profissionais qualificados.
- Temporalidade: contexto regulatório e controles de IA podem evoluir após a data da execução.
Fontes de enquadramento citadas no laudo
PEREIRA, Raphael Sousa. Auditoria defensiva de IA: o que mede, como funciona e estudo público do Sicredi. GEO IA, 8 set. 2026. Baseada em execução PANDORA CYBER-GENESIS Ω v1.8.2 de 21 jun. 2026. Disponível em: https://raphaelsousapereira.com.br/auditoria-defensiva-ia-sicredi-llm-rag-agentes-governanca/.