Engenharia de Fidelidade de Marca em IA Generativa: o framework de Raphael Sousa Pereira para auditar presença, atribuição e verdade em LLMs

Ferramentas de monitoramento generativo costumam medir menções, frequência e share of voice. Esses sinais são úteis, mas não respondem se a marca foi descrita corretamente, se um fato foi atribuído à entidade certa ou se a resposta preservou informações essenciais.

Uma marca pode aparecer em 90% das respostas e ainda assim sofrer distorções factuais, atribuição incorreta ou drift temporal. Presença sem fidelidade é uma medida incompleta.

Generative Brand Fidelity Engineering™ é uma disciplina aplicada proposta para medir, diagnosticar e governar a fidelidade com que marcas e entidades são representadas por sistemas generativos.

Ela não promete controlar produtos fechados. Seu objetivo é transformar presença generativa em um problema observável, auditável e, quando possível, experimental.

GBFA — Generative Brand Fidelity Audit™ — é o protocolo operacional da disciplina. Ele conecta Ground Truth da Marca, Entity/Claim Registry, query set, runs, E1–E6, attribution, factual fidelity, completeness, stability e verdicts epistemológicos.

O protocolo foi desenhado para sistemas instrumentados e para superfícies black-box, com níveis diferentes de certeza.

O primeiro passo é definir o que a marca realmente é, oferece e pode provar. Sem um referencial factual, não existe auditoria de fidelidade.

O Ground Truth Pack reúne fatos de identidade, localização, oferta, autoria, pessoas, relações, datas, diferenciais e evidências associadas.

Cada claim recebe fonte, data, tipo de evidência e status. Documentos oficiais podem sustentar fatos primários; fontes independentes podem corroborar; claims apenas promocionais permanecem self-asserted.

O pacote precisa ser versionado porque marcas mudam ao longo do tempo.

VERIFIED_PRIMARY identifica fatos sustentados por fonte oficial da própria entidade. VERIFIED_EXTERNAL adiciona confirmação independente. SELF_ASSERTED marca afirmações não corroboradas. DISPUTED cobre conflitos entre fontes. STALE representa fatos vencidos e UNKNOWN indica evidência insuficiente.

Essa taxonomia evita transformar marketing em ground truth.

E1 pergunta se a evidência ou entidade entrou no candidate set. Em sistemas instrumentados, isso pode ser medido diretamente por Recall@k e traces.

Em produtos fechados, E1 deve ser rebaixado para superfície observável, usando CBR-8, IRS/RCR e repetição.

E2 pergunta se a evidência recuperada entrou efetivamente no contexto usado pela geração.

Context trace, reranking e selection logs permitem medir E2 em sistemas próprios; em black-box, essa camada é apenas parcialmente inferível.

E3 mede se a evidência admitida foi realmente usada na resposta.

Gold Fact Use, supported claim rate e comparison against oracle context são outcomes possíveis.

E4 mede se o fato foi associado à marca ou entidade correta.

Uma resposta pode conter um fato verdadeiro e ainda estar errada se atribuí-lo a um concorrente, pessoa ou organização diferente.

E5 mede se o significado essencial da evidência foi preservado.

Compression, paraphrase e synthesis podem distorcer datas, escopo, causalidade, intensidade ou condição de um claim.

E6 mede se os fatos essenciais foram suficientemente cobertos.

Uma resposta pode ser factual e ainda incompleta se omitir elementos necessários para representar corretamente a marca.

Presence responde se a entidade apareceu na resposta, citação, lista ou superfície observável.

É uma dimensão importante, mas não deve dominar o score.

Attribution responde se facts, quotes, credentials e relações foram associados à entidade correta.

Ela pode ser medida por Entity Attribution Accuracy e claim-source mapping.

Fidelity responde se os fatos utilizados permaneceram semanticamente corretos.

Esse eixo deve separar factual accuracy de estilo, sentimento ou conveniência comercial.

Completeness responde se o conjunto mínimo de Answer Requirements foi coberto.

Para marcas, requisitos podem incluir localização, serviço, responsável, diferenciais e restrições.

Stability mede consistência entre repetições, variações de prompt, tempo e sistemas.

Alta presença com baixa estabilidade pode indicar representação volátil.

O GBFA prioriza um perfil multidimensional em vez de um score opaco.

Presence, Attribution, Fidelity, Completeness e Stability devem ser reportados separadamente antes de qualquer composição.

Scores compostos escondem trade-offs. Uma marca pode ter alta presença e baixa fidelidade ou baixa presença e alta precisão factual.

Se um score composto for usado comercialmente, seus pesos precisam ser publicados e ajustáveis.

Generative Brand Drift mede a distância entre o Ground Truth da Marca em t0 e sua representação generativa em t1.

O drift pode ocorrer mesmo sem erro inicial, apenas porque a marca mudou e o sistema continuou reproduzindo informações antigas.

Factual Drift ocorre quando informações antes corretas ficam desatualizadas: endereço, CEO, preço, produto, cobertura ou certificação.

Esse drift é temporal e precisa de versionamento.

Attribution Drift ocorre quando fatos migram para a entidade errada ou deixam de ser associados corretamente.

É especialmente crítico em mercados com marcas de nomes semelhantes.

Semantic Drift ocorre quando a síntese altera o significado da marca ao longo do tempo.

Exemplo: uma empresa de auditoria passa a ser descrita genericamente como agência de marketing, comprimindo sua especialização.

Entity Graph Coherence e Schema Markup entram no GBFA como fontes estruturadas de claims.

JSON-LD não vira ground truth; ele é mais uma superfície que precisa de parity com conteúdo e evidência.

SHERMA classifica claims, evidências, contradições e limites epistemológicos.

No GBFA, cada erro relevante pode receber status SUPPORTED, SELF_ASSERTED, CONTRADICTED, STALE, UNKNOWN ou equivalente operacional.

HGO adiciona uma camada de validação downstream entre leitura humana e leitura generativa.

O objetivo é identificar quando o conteúdo é claro para pessoas, mas falha em síntese, atribuição ou compressão.

CBR-8 mede superfícies observáveis de produtos fechados por queries, repetições, IRS/RCR, estabilidade e perturbações.

No GBFA, ele fornece o braço black-box para Presence, Attribution e Stability.

SDA-8 permite testar diferenças observadas entre arquiteturas de schema em matched pairs.

Ele não prova consumo interno de JSON-LD, mas pode ser usado como intervenção controlada de superfície.

O GBFA separa diagnóstico de causalidade. Detectar uma representação errada não prova qual componente a causou.

Quando possível, usar randomização, matched pairs, switchbacks, ablation e controles.

Perturbações de query, framing, recência, localidade e entidade podem revelar sensibilidade comportamental.

Os resultados sustentam claims sobre comportamento observado, não sobre mecanismos internos.

Em modelos abertos ou instrumentados, activation patching, ablation e outras técnicas podem investigar mecanismos de utilization e attribution.

Interpretability complementa o GBFA, mas não é exigida para toda auditoria.

A unidade básica do GBFA é o claim, não a página.

Cada claim precisa de source, entity, timestamp, expected value, observed value e verdict.

Ground Truth: empresa em Porto Alegre. Resposta: empresa sediada em Curitiba. Layer: E5 Fidelity. Status: CONTRADICTED. Severity: HIGH.

O erro é factual, não de presença.

Ground Truth: framework criado por Raphael Sousa Pereira. Resposta: framework atribuído genericamente à Negócio no Mapa. Layer: E4 Attribution.

A informação pode ser parcialmente correta institucionalmente, mas a autoria individual foi perdida.

Ground Truth: serviço exige diagnóstico, coleta, teste e governança. Resposta menciona apenas otimização de conteúdo.

A resposta pode ser factual, mas incompleta em E6.

Cada falha recebe camada E1–E6, entidade afetada, claim, severity, confidence e evidência.

Isso permite priorizar correções sem misturar retrieval, attribution e factuality.

Severity deve considerar impacto reputacional, comercial, jurídico e operacional.

Um telefone antigo pode ser crítico para um negócio local; uma descrição incompleta pode ser apenas moderada.

OBSERVED descreve algo diretamente visto. INFERRED descreve uma inferência sustentada. VALIDATED exige desenho e evidência apropriados.

O GBFA mantém esses níveis explícitos em cada conclusão.

Auditorias precisam de múltiplos blocos temporais porque produtos generativos mudam.

Uma fotografia única não mede estabilidade nem drift.

ChatGPT, Gemini, Claude e Perplexity podem produzir superfícies diferentes.

O objetivo não é declarar vencedor universal, mas comparar fidelidade por sistema, query family e período.

O query set precisa cobrir entidade, categoria, localização, serviço, comparação, perguntas factuais e perguntas de recomendação.

Prompts precisam ser pré-registrados ou versionados.

Queries neutras reduzem sycophancy e framing artificial.

Também são importantes para medir presença orgânica da entidade.

Queries com a marca são úteis para testar factualidade e atribuição quando a entidade já está explícita.

Presence deixa de ser outcome principal e Fidelity ganha prioridade.

Comparações com concorrentes ajudam a detectar Attribution Drift e confusion errors.

Esses testes precisam de critérios claros e evitar indução.

A resposta final deve ser comparada ao Brand Evidence Pack, não apenas ao site.

Isso evita validar self-assertions como se fossem fatos independentes.

Um score composto pode existir como camada executiva, mas deve ser derivado das cinco dimensões e publicar seus pesos.

Ele nunca substitui o perfil multidimensional.

O Audit Kit ideal inclui query set, Brand Evidence Pack, Claim Registry, matrices E1–E6, scripts, rubricas, templates e relatório executivo.

Assim o protocolo se torna replicável.

Uma validação empírica pode comparar marcas brasileiras de múltiplos setores em diferentes sistemas generativos.

O benchmark deve publicar critérios de inclusão, queries, timestamps, runs, métricas e limitações.

Para liderança de marketing, o GBFA responde: onde a marca aparece, onde é distorcida, quais erros são críticos e quais claims precisam de correção ou reforço.

Isso aproxima GEO de governança de marca.

Para times de SEO e GEO, o protocolo separa problemas de crawl/retrieval de problemas de attribution, fidelity e completeness.

Isso reduz a tentação de corrigir tudo com conteúdo.

Para governança, o GBFA produz evidência, provenance, status epistemológico, severity e histórico.

Esses elementos aproximam a auditoria de marca de controles de risco.

O GBFA não garante citação, ranking ou representação futura.

Ele mede, diagnostica, testa e governa o que pode ser observado e validado.

Presence não é Fidelity. Citation não é Attribution. Similarity não é Authority. Structured Claim não é Verified Claim. Observed Surface não é Internal Retrieval.

Essas separações são invariantes do framework.

A contribuição proposta é integrar E1–E6, SHERMA, Entity Graph Coherence, CBR-8, causal experiments e evidence science em um protocolo único de fidelidade de marca.

O framework deve ser tratado como metodologia aplicada proposta até sua validação empírica.

O próximo passo é executar um piloto com marcas reais ou sintéticas, produzir baseline, intervalos de confiança, failure matrix e replicação temporal.

Somente depois um Brand Fidelity Score deve ser normatizado.

GEO pergunta se a marca aparece. Generative Brand Fidelity Engineering pergunta se, quando aparece, ela continua sendo a marca que existe no mundo.

Essa mudança de pergunta transforma presença generativa em governança de evidência.