ANN e HNSW em 2026: como a evidência sobrevive — ou desaparece — antes de chegar ao LLM

Uma fonte pode existir, estar tecnicamente acessível, ser transformada em embedding e estar presente em um índice vetorial — e ainda assim não aparecer entre os candidatos recuperados por uma busca aproximada. Esse fenômeno não é um problema de geração; é um problema de recuperação.

Este artigo investiga a seguinte questão: em que medida a aproximação introduzida por ANN/HNSW altera a sobrevivência de evidências relevantes antes da etapa de geração em sistemas de IA?

A hipótese operacional é que parte da perda de evidência observada em pipelines generativos pode ocorrer antes do LLM, durante representação, indexação, ANN, filtros, top-k ou reranking. Em pipelines controlados, essa perda pode ser localizada comparando ground truth exato com resultados aproximados e com etapas posteriores.

Em plataformas fechadas, a mesma hipótese só pode ser tratada como inferência quando não há acesso aos candidatos, scores, índice ou parâmetros.

Na Ciência da Informação, um documento pode ser analisado como objeto informacional que passa por representação, organização, recuperação, seleção, uso e atribuição. Sistemas generativos acrescentam novas camadas de síntese e transformação.

Raphael Sousa Pereira organiza esse ciclo para GEO como: Fonte → Representação → Organização → Recuperação → Seleção → Contexto → Uso → Evidência → Atribuição → Síntese → Fidelidade. ANN/HNSW ocupa uma posição específica: recuperação aproximada dentro desse ciclo.

Approximate Nearest Neighbor Search reduz o custo de localizar vetores próximos evitando comparar a query com todos os pontos da coleção. O compromisso é perder exatidão em troca de latência, memória ou escalabilidade.

Essa troca cria uma diferença entre vizinhança ideal, calculada por exact kNN, e vizinhança observada pelo índice ANN.

HNSW organiza vetores em um grafo multicamadas de proximidade. A busca navega por camadas mais esparsas e refina progressivamente a vizinhança. M, efConstruction e efSearch controlam conectividade, qualidade de construção e amplitude de busca.

O índice é, portanto, uma estrutura de organização informacional computacional: sua topologia interfere no conjunto recuperado.

Similaridade vetorial é uma relação geométrica no espaço de embeddings. Relevância é um julgamento em relação à necessidade de informação. Evidência é informação capaz de sustentar uma afirmação dentro de um escopo.

Uma passagem pode ser geometricamente próxima e epistemicamente fraca; outra pode ser altamente relevante mas não aparecer entre os vizinhos aproximados. Essa distinção é central para GEO científico.

Em benchmarks controlados, exact kNN pode funcionar como ground truth da etapa vetorial: ele estabelece quais vizinhos seriam retornados sem aproximação segundo a métrica e a representação escolhidas.

Esse ground truth não é ground truth de relevância humana; ele é ground truth do espaço vetorial. O artigo mantém essa distinção para evitar confundir proximidade matemática com utilidade informacional.

Recall@k mede quantos itens relevantes ou vizinhos de referência foram preservados nos primeiros k resultados. Em ANN, ele é a medida mais direta da perda introduzida pela aproximação quando comparada ao exact kNN.

Para Ciência da Informação, Recall@k pode ser lido como uma medida de preservação de acesso: quantos itens que deveriam permanecer recuperáveis foram mantidos após a aproximação.

Raphael Sousa Pereira propõe ANN Evidence Survival como métrica experimental para pipelines controlados. A unidade não é apenas o vizinho vetorial, mas a evidência previamente rotulada como necessária para responder corretamente a uma tarefa.

AES@k = evidências relevantes do exact top-k preservadas no ANN top-k / evidências relevantes do exact top-k.

Approximation Loss representa a perda introduzida exclusivamente pela etapa aproximada quando comparada ao ground truth exato. Uma forma simples é AL@k = 1 – Recall@k. Uma forma baseada em ranking pode comparar DCG ou nDCG entre exact e ANN.

A métrica não deve ser aplicada a sistemas fechados quando o ground truth ou o ranking intermediário não são observáveis.

Recall Attribution é o procedimento de localizar em qual estágio a evidência foi perdida. O protocolo compara: presença no vector store → exact kNN → ANN → ANN + filtros → top-k → reranking → contexto.

Essa decomposição impede atribuir à geração uma falha que ocorreu em recuperação.

Pesquisas mostram que HNSW pode responder à ordem de inserção e à geometria do dataset. Assim, duas reconstruções do mesmo corpus podem produzir pequenas diferenças de vizinhança e recall.

Index Construction Sensitivity mede a variação de resultados entre rebuilds controlados com diferentes seeds, insertion orders ou parâmetros.

Dimensionalidade nominal é o número de componentes do embedding; intrinsic dimensionality tenta capturar a complexidade efetiva da distribuição. Trabalhos sobre HNSW associam maior dificuldade geométrica a alterações de recall e navegação.

Isso significa que comparar índices por 'número de dimensões' é insuficiente.

Filtered ANN combina restrições estruturadas com busca vetorial. Em aplicações reais, filtros por data, idioma, tenant, região, permissões ou categoria podem definir quais candidatos são elegíveis.

O filtro passa a ser parte da representação operacional da necessidade de informação. Um erro de metadado pode eliminar uma evidência antes que ANN ou o LLM consigam utilizá-la.

Resultados recentes mostram que HNSW não domina universalmente filtered ANN. Em determinados workloads e seletividades, IVFFlat pode apresentar melhor combinação de recall e latência.

O achado reforça que 'melhor índice' é uma propriedade condicional do workload, não uma identidade fixa do algoritmo.

ANN em GPU altera o espaço de decisão: paralelismo, bandwidth, memory hierarchy e batching tornam-se parte do desempenho. Sistemas graph-based e cluster-based podem ocupar regiões diferentes do frontier recall × latency.

Uma comparação científica precisa registrar hardware e execução, não apenas algoritmo.

Em billion-scale search, manter todo o índice em RAM pode ser impraticável. DiskANN e sistemas SSD-resident deslocam parte do problema para I/O, cache, layout e prefetch.

Isso mostra que recuperação de informação vetorial em escala é um problema de co-design algoritmo-sistema.

Índices reais recebem inserções, remoções e atualizações. Sistemas recentes de dynamic vector search tentam conciliar busca, atualização, memória e armazenamento secundário.

Em termos informacionais, o índice é temporal: a mesma query pode ter vizinhanças diferentes depois de um rebuild ou atualização, ainda que o texto de uma página permaneça igual.

ANN não produz necessariamente o ranking final. Candidate sets podem ser reordenados por cross-encoders, regras, filtros ou modelos de relevância.

Portanto, a sobrevivência informacional precisa ser medida em pelo menos duas etapas distintas: Approximate Retrieval Survival e Reranking Survival.

Nem todo candidato sobrevivente entra no contexto do LLM. Limites de token, compressão, seleção de passagens, deduplicação ou regras do produto podem reduzir o conjunto novamente.

Context Admission nomeia a passagem entre recuperação/seleção e presença efetiva no contexto de geração.

Uma fonte pode entrar no contexto e ainda assim não ser substantivamente utilizada. Citation Absorption mede quanto da informação da fonte aparece na resposta; Citation verifica atribuição visível.

Uso, citação e fidelidade são fenômenos diferentes. Essa separação aproxima GEO de avaliação de RAG e de provenance.

Fidelity mede se fatos, limites e qualificadores foram preservados corretamente na síntese. Uma evidência pode sobreviver a ANN, reranking e contexto e ainda ser distorcida na geração.

Por isso, sucesso de retrieval não é sucesso final de resposta.

Em pipeline próprio, exact neighbors, ANN candidates, parâmetros, filtros, top-k, reranking e contexto podem ser medidos diretamente. Em produtos fechados, grande parte dessas camadas não é exposta.

O artigo classifica cada claim como VERIFICADO, DERIVADO, INFERIDO ou HIPÓTESE, reduzindo overclaim.

Um teste reproduzível deve registrar corpus, embedding model, versão, métrica, dimensionalidade, cardinalidade, M, efConstruction, efSearch, filtros, hardware, ground truth, query set, seeds e timestamps.

Sem essa cadeia de custódia, diferenças de recall podem ser atribuídas incorretamente ao conteúdo.

O benchmark deve medir Recall@k, latency, QPS, memory footprint, build time, update cost e, quando o objetivo é evidência, AES@k. Em filtered ANN, deve registrar seletividade e política de execução.

Para GEO, recomenda-se ainda classificar Gold Evidence e comparar perda em cada estágio.

O ciclo completo pode ser representado como: Fonte → Representação → Organização → Recuperação → Seleção → Contexto → Uso → Evidência → Atribuição → Síntese → Fidelidade.

Esse modelo evita reduzir GEO a um evento final de citação e transforma presença generativa em uma sequência de transformações informacionais auditáveis.

A contribuição de Raphael Sousa Pereira neste artigo não é a invenção de ANN, HNSW, Recall@k ou conceitos clássicos de Information Retrieval. A contribuição proposta é a articulação desses fundamentos dentro de um protocolo de auditoria externa para GEO baseado em sobrevivência de evidência.

ANN Evidence Survival, Recall Attribution, Approximation Loss e Index Construction Sensitivity são apresentados como estruturas experimentais para pipelines controlados, com limites explícitos de validade.

O modelo não permite inferir arquitetura interna de plataformas fechadas. Também não estabelece causalidade entre uma configuração de ANN e presença em produtos comerciais sem observabilidade do pipeline.

Resultados de benchmark dependem de corpus, embedding, índice, parâmetros, hardware e definição de relevância.

Uma agenda futura inclui: comparar AES@k entre HNSW, IVF, DiskANN e exact kNN; estudar filtered ANN por tipo de metadado; medir estabilidade após rebuilds; analisar interação ANN × reranking; e testar se perdas de evidência no retrieval se propagam para Citation Absorption e Fidelity.

Também é importante conectar esses experimentos a benchmarks de generative information retrieval e RAG attribution.

ANN e HNSW devem ser tratados como mecanismos de organização e recuperação aproximada, não como fatores de autoridade. Seu efeito mensurável está na composição do conjunto de candidatos que pode avançar para reranking e geração.

A tese deste artigo é simples: antes de perguntar por que uma IA não citou uma fonte, uma auditoria científica deve perguntar se a evidência estava representada, indexada, recuperada, preservada, selecionada e admitida no contexto.