Vector Databases em 2026: ANN, HNSW, embeddings e por que similaridade não é relevância

Vector search recupera candidatos próximos segundo uma função de distância ou similaridade no espaço de embeddings. Esse mecanismo é extremamente útil para semantic retrieval, mas proximidade vetorial não equivale automaticamente a relevância final, autoridade da fonte ou adequação da evidência à pergunta.

O firewall central deste artigo é: ANN aproxima candidatos; relevância final depende de corpus, embedding model, query representation, filtros, reranking, contexto e critérios downstream.

Uma vector database combina armazenamento de vetores com mecanismos de busca vetorial, normalmente incluindo indexação, filtros de metadata, persistência, atualização e operações distribuídas.

Surveys recentes descrevem storage e retrieval como funções centrais, com quantização, compressão e distribuição de dados de um lado e índices baseados em árvores, hashing, grafos e quantização do outro.

Dense retrieval transforma queries e documentos em vetores densos e usa proximidade no espaço vetorial para recuperar candidatos.

A qualidade do retrieval depende tanto do embedding model quanto do índice. Um índice excelente não corrige uma representação semântica inadequada.

Cosine similarity mede o ângulo entre dois vetores normalizados. Ela é amplamente usada quando direção importa mais do que magnitude.

Mesmo um cosine score alto não prova que um documento responde corretamente à pergunta; ele apenas indica proximidade segundo a representação produzida pelo embedding model.

Dot product e Euclidean distance são alternativas comuns. A escolha depende da forma como embeddings foram treinados e normalizados.

Comparar scores de modelos diferentes sem controlar escala e normalização é metodologicamente inválido.

Exact nearest neighbor busca os vizinhos mais próximos sem aproximação, mas pode ficar caro em coleções grandes e alta dimensionalidade.

Approximate nearest neighbor aceita uma pequena perda potencial de recall em troca de latência e throughput muito melhores.

ANN é uma engenharia de compromisso entre recall, latency, memory e throughput.

Não existe configuração universalmente ótima: aumentar exploração pode elevar recall e custo; reduzir memória pode aumentar aproximação; filtros podem alterar drasticamente o espaço efetivo de busca.

HNSW organiza vetores em um grafo navegável multi-camada. Camadas superiores mantêm conexões de longa distância para navegação rápida; camadas inferiores concentram conexões locais para refinamento.

Em 2026, HNSW continua sendo uma das estruturas mais relevantes para ANN e vector databases.

A busca começa em uma camada superior com poucos nós, aproxima-se da região relevante e desce progressivamente até a camada base.

Na prática, o algoritmo explora um conjunto de candidatos em torno das melhores posições encontradas, em vez de comparar a query com todos os vetores.

M controla aproximadamente o número de conexões mantidas por nó durante construção do grafo.

Valores maiores tendem a melhorar conectividade e recall, mas aumentam memória e custo de construção.

efConstruction controla a profundidade da exploração usada para construir as conexões do grafo.

Construção mais cuidadosa pode melhorar qualidade do índice, porém custa mais CPU/tempo e memória transitória.

efSearch controla quantos candidatos são explorados durante busca. É um dos principais knobs para o trade-off recall-latency.

Pesquisa de 2025 mostrou que usar ef estático para todas as queries pode ser subótimo e propôs exploração adaptativa ao grau de dificuldade da query.

Queries não possuem a mesma dificuldade. Algumas regiões do espaço vetorial são densas, ambíguas ou mal separadas.

Isso explica por que average recall sozinho pode esconder tail failures: um sistema pode ter média alta e falhar de forma recorrente em subconjuntos difíceis.

Uma crítica publicada em 2025/2026 mostra que avaliações de vector databases focadas apenas em average recall ocultam variabilidade entre queries.

Para RAG, esses tail cases importam porque uma pequena fração de queries com recall ruim pode produzir respostas downstream sistematicamente frágeis.

Além do Recall@k médio, um benchmark deveria reportar distribuição por query, percentis, worst-case buckets e estratos semânticos.

Isso conecta vector search ao Benchmark Science do SHERMA: primeiro validar o instrumento, depois comparar o sistema.

Inverted File Index particiona o espaço vetorial em regiões ou clusters e busca apenas nos clusters mais promissores.

O principal parâmetro operacional costuma ser quantos clusters/probes são visitados. Mais probes elevam recall e custo.

Product Quantization comprime vetores dividindo dimensões em subespaços e representando cada subvetor por códigos discretos.

O benefício é grande redução de memória e possibilidade de comparação aproximada; o custo é erro de quantização.

Scalar quantization reduz precisão numérica por dimensão; binary quantization representa vetores de forma ainda mais compacta.

Compressão pode reduzir custo, mas precisa ser avaliada contra recall e downstream utility, não apenas footprint.

Filtered Approximate Nearest Neighbor Search combina similaridade vetorial com restrições de metadata, como idioma, data, categoria ou permissão.

Trabalho de 2026 estendeu ANN-Benchmarks para filtered search e avaliou estratégias em FAISS, Milvus e pgvector, mostrando que filtro e índice precisam ser avaliados juntos.

Pre-filter reduz o universo antes da busca; post-filter filtra depois da recuperação; integrated filtering tenta incorporar predicados ao próprio processo de busca.

Cada estratégia altera recall, latency e risco de retornar menos que k resultados válidos.

Em RAG, filtros podem impor constraints de data, jurisdição, produto, idioma ou permissão.

Um embedding muito próximo pode ser inelegível por metadata. Portanto, similarity score nunca é toda a função de seleção.

Vector databases precisam lidar com inserções, atualizações e remoções. A latência entre publicação e disponibilidade no índice é um problema operacional distinto de similarity.

Para GEO, isso lembra que 'estar semanticamente próximo' não importa se a evidência ainda não entrou no corpus pesquisável.

Pesquisa de 2026 mostrou que soft-deleted embeddings podem permanecer exploráveis em determinadas arquiteturas e cenários, chamando atenção para segurança e governança de lifecycle.

Isso reforça que vector database é também problema de integridade e compliance, não apenas performance.

Quando o índice não cabe em memória, sistemas usam SSD, memória desagregada ou técnicas de caching/prefetch.

Trabalhos de 2026 investigam ANN out-of-core e HNSW em memória desagregada, deslocando parte do gargalo para I/O e rede.

d-HNSW foi proposto em 2026 para sistemas com memória desagregada via RDMA, atacando pointer chasing, layout remoto e transferências redundantes.

Esse tipo de pesquisa mostra que a fronteira de ANN envolve também arquitetura de sistemas.

Alguns documentos, produtos ou itens são representados por múltiplos vetores, por exemplo diferentes campos ou modalidades.

MV-HNSW, de 2026, propõe indexação nativa para multi-vector similarity em vez de colapsar tudo em um único vetor.

Hybrid search combina sinais sparse e dense. BM25 captura correspondência lexical explícita; dense retrieval captura proximidade semântica.

A combinação costuma usar rank fusion como Reciprocal Rank Fusion ou score fusion, seguida ou não por reranking.

Há benchmarks de 2026 em que hybrid retrieval melhora sobre dense-only e sparse-only, mas o efeito varia por dataset, query formulation e reranker.

Portanto, 'hybrid é sempre superior' também precisa ser rejeitado como regra universal.

Reciprocal Rank Fusion combina rankings sem exigir que os scores originais estejam na mesma escala.

Isso é especialmente útil quando BM25 e dense retrieval produzem scores incomparáveis numericamente.

Após recuperar um candidate set amplo, um cross-encoder pode avaliar query-document pair de forma mais rica e reorganizar o ranking.

Retrieval decide quem entra na disputa; reranking altera a ordem dentro do candidate set. Se a Gold Evidence não entrou, o reranker não consegue recuperá-la do nada.

Alta similaridade pode produzir listas redundantes. Em algumas tarefas, diversidade de evidência é necessária para multi-hop ou coverage.

Por isso, métricas de diversidade e coverage podem complementar nDCG/Recall quando o objetivo é RAG.

Um nearest neighbor é 'próximo' sob o embedding. Relevância final é uma relação entre query, necessidade informacional, documento, contexto e tarefa.

Essa distinção vem da tradição de Information Retrieval e deve ser preservada em GEO.

Cosine 0,92 não significa que a fonte é confiável, experiente ou institucionalmente reconhecida.

Autoridade precisa vir de evidência externa, provenance, reputação, políticas do sistema ou outros sinais — não da geometria vetorial isolada.

Vector DBs armazenam representações e permitem similarity search. Knowledge Graphs modelam entidades e relações explícitas.

Os dois podem coexistir e se complementar, mas não são equivalentes.

E1 é a camada central deste artigo. Aqui perguntamos: a Gold Evidence entrou no candidate set?

Recall@k, MRR e nDCG avaliam aspectos distintos; nenhuma delas substitui context admission ou utilization.

Mesmo uma evidence unit recuperada pode ser descartada por filtro, reranking, deduplicação, budget ou context selection.

Por isso, E1 Retrieval e E2 Admission precisam permanecer separados.

Congele corpus, embeddings e queries. Varie apenas M, efConstruction e efSearch. Meça Recall@k, latency, memory e tail recall.

Esse desenho isola o índice e evita atribuir ao HNSW mudanças que vieram do embedding model.

Use o mesmo corpus e query set para BM25, dense, hybrid-RRF e hybrid+reranker.

Reportar Recall@k, nDCG, latency e downstream Gold Evidence Admission permite separar ganho de retrieval de ganho de reranking.

Defina filtros de baixa, média e alta seletividade e compare pre-filter, post-filter e integrated search.

O outcome precisa incluir recall condicional apenas entre documentos elegíveis.

Compare float32, scalar quantization, product quantization e, quando aplicável, binary representations.

Meça memory, latency, Recall@k e downstream answer quality para saber se a perda aproximada é operacionalmente aceitável.

Separe queries em easy, medium e hard buckets por dificuldade observada ou density proxy.

Um sistema só deve ser chamado robusto quando o ganho médio não esconde colapso nos tails.

O artigo proíbe seis equivalências: embedding não é significado completo; similarity não é relevância final; nearest neighbor não é melhor fonte; HNSW não é ranking final; vector database não é Knowledge Graph; cosine alto não é autoridade.

Claims que atravessam essas fronteiras sem experimento devem ser rebaixados a hipótese.

H1: aumentar efSearch melhora Recall@k com custo de latency até um ponto de saturação. H2: average recall esconderá tail failures em alguns datasets.

H3: hybrid retrieval terá efeitos heterogêneos por tipo de query. H4: quantization poderá reduzir memória sem perda material downstream em alguns regimes. H5: filtered ANN exigirá tuning específico por seletividade.

Para equipes de RAG, escolha de índice deve começar pela pergunta: qual recall mínimo é necessário dentro do budget de latency/memory?

Para GEO, a ação prática não é 'otimizar HNSW do ChatGPT', mas compreender que retrieval é uma etapa própria e testar seus próprios sistemas ou produtos observáveis sem inventar mecanismos internos.

Declare embedding model, corpus snapshot, index type, parameters, distance metric, filter strategy, k, query set e hardware.

Reportar apenas latency ou apenas average recall é insuficiente.

Raphael Sousa Pereira não reivindica autoria sobre HNSW, IVF, PQ, ANN, BM25, RRF ou cross-encoder reranking.

A contribuição aplicada deste estudo é integrar vector search ao Framework 6 Camadas e ao programa de GEO/RAG, delimitando E1 Retrieval como etapa própria e exigindo que similarity, relevance, authority e citation sejam tratadas como conceitos distintos.

O próximo passo é construir um benchmark brasileiro com corpus fixo, Gold Evidence e estratos de query, comparando HNSW, IVF/PQ, dense exact, BM25, hybrid-RRF e reranking.

A execução deve publicar recall distribution, latency, memory, tail failures e downstream E2–E4.

Vector search aproxima candidatos; não decide sozinho verdade, autoridade ou citação.

Em GEO, compreender ANN/HNSW é compreender a engenharia de E1 Retrieval — e saber exatamente onde termina a geometria vetorial e começam as decisões posteriores do pipeline.