{ "schema": "pandora-corpo-companion/1", "title": "Vector Databases em 2026: ANN, HNSW, embeddings e por que similaridade não é relevância", "description": "Bancos vetoriais, HNSW e ANN: embeddings, filtros, recall, latência, memória e avaliação de recuperação para GEO e RAG.", "canonical": "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/vector-databases-ann-hnsw-geo-2026/", "language": "pt-BR", "author": "Raphael Sousa Pereira", "attribution": "Fonte: Raphael Sousa Pereira (https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/vector-databases-ann-hnsw-geo-2026/)", "updated": "2026-11-03", "html_sha256": "b5679fb78fc5b5df51e34b34ae8d64d86178bbaf6283cb25dd4dcaaa56986dd7", "companion": { "md": "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/vector-databases-ann-hnsw-geo-2026/?formato=md", "json": "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/vector-databases-ann-hnsw-geo-2026/?formato=json" }, "secoes": [ { "nivel": 2, "titulo": "48 capítulos + laboratórios + protocolo black-box — da geometria vetorial ao retrieval auditável", "texto": "[011. O problema: nearest neighbor não é melhor fonte][022. Vector database: armazenamento e recuperação][033. Dense retrieval][044. Similaridade cosseno][055. Dot product e distância euclidiana][066. Exact NN vs Approximate NN][077. O trade-off central do ANN][088. HNSW: visão geral][099. Como HNSW navega][1010. O parâmetro M][1111. efConstruction][1212. efSearch][1313. Query difficulty em HNSW][1414. Average recall pode enganar][1515. Recall distribution][1616. IVF][1717. Product Quantization][1818. Scalar e binary quantization][1919. Filtered ANN][2020. Pre-filter, post-filter e integrated filtering][2121. Metadata filtering em GEO/RAG][2222. Index freshness][2323. Ghost vectors e deleções][2424. Out-of-core ANN][2525. d-HNSW][2626. Multi-vector retrieval][2727. Hybrid search][2828. Hybrid não significa sempre melhor][2929. RRF][3030. Cross-encoder reranking][3131. Candidate diversity][3232. Similarity não é relevância final][3333. Similarity não é autoridade][3434. Vector database não é Knowledge Graph][3535. E1 Retrieval no Framework 6 Camadas][3636. E2 Admission começa depois][3737. Protocolo HNSW: Fixed Corpus + Fixed Queries][3838. Protocolo Hybrid: dense vs sparse vs fusion][3939. Protocolo filtered ANN][4040. Protocolo quantization][4141. Tail-risk benchmark][4242. Firewall epistemológico][4343. Hipóteses falsificáveis][4444. Aplicabilidade prática][4545. Checklist operacional][4646. Contribuição aplicada de Raphael Sousa Pereira][4747. Agenda empírica][4848. Conclusão] Capítulo 01" }, { "nivel": 2, "titulo": "1. O problema: nearest neighbor não é melhor fonte", "texto": "Vector search recupera candidatos próximos segundo uma função de distância ou similaridade no espaço de embeddings. Esse mecanismo é extremamente útil para semantic retrieval, mas proximidade vetorial não equivale automaticamente a relevância final, autoridade da fonte ou adequação da evidência à pergunta. O firewall central deste artigo é: ANN aproxima candidatos; relevância final depende de corpus, embedding model, query representation, filtros, reranking, contexto e critérios downstream. Capítulo 02" }, { "nivel": 2, "titulo": "2. Vector database: armazenamento e recuperação", "texto": "Uma vector database combina armazenamento de vetores com mecanismos de busca vetorial, normalmente incluindo indexação, filtros de metadata, persistência, atualização e operações distribuídas. Surveys recentes descrevem storage e retrieval como funções centrais, com quantização, compressão e distribuição de dados de um lado e índices baseados em árvores, hashing, grafos e quantização do outro. Capítulo 03" }, { "nivel": 2, "titulo": "3. Dense retrieval", "texto": "Dense retrieval transforma queries e documentos em vetores densos e usa proximidade no espaço vetorial para recuperar candidatos. A qualidade do retrieval depende tanto do embedding model quanto do índice. Um índice excelente não corrige uma representação semântica inadequada. Capítulo 04" }, { "nivel": 2, "titulo": "4. Similaridade cosseno", "texto": "Cosine similarity mede o ângulo entre dois vetores normalizados. Ela é amplamente usada quando direção importa mais do que magnitude. Mesmo um cosine score alto não prova que um documento responde corretamente à pergunta; ele apenas indica proximidade segundo a representação produzida pelo embedding model. Capítulo 05" }, { "nivel": 2, "titulo": "5. Dot product e distância euclidiana", "texto": "Dot product e Euclidean distance são alternativas comuns. A escolha depende da forma como embeddings foram treinados e normalizados. Comparar scores de modelos diferentes sem controlar escala e normalização é metodologicamente inválido. Capítulo 06" }, { "nivel": 2, "titulo": "6. Exact NN vs Approximate NN", "texto": "Exact nearest neighbor busca os vizinhos mais próximos sem aproximação, mas pode ficar caro em coleções grandes e alta dimensionalidade. Approximate nearest neighbor aceita uma pequena perda potencial de recall em troca de latência e throughput muito melhores. Capítulo 07" }, { "nivel": 2, "titulo": "7. O trade-off central do ANN", "texto": "ANN é uma engenharia de compromisso entre recall, latency, memory e throughput. Não existe configuração universalmente ótima: aumentar exploração pode elevar recall e custo; reduzir memória pode aumentar aproximação; filtros podem alterar drasticamente o espaço efetivo de busca. Capítulo 08" }, { "nivel": 2, "titulo": "8. HNSW: visão geral", "texto": "HNSW organiza vetores em um grafo navegável multi-camada. Camadas superiores mantêm conexões de longa distância para navegação rápida; camadas inferiores concentram conexões locais para refinamento. Em 2026, HNSW continua sendo uma das estruturas mais relevantes para ANN e vector databases. Capítulo 09" }, { "nivel": 2, "titulo": "9. Como HNSW navega", "texto": "A busca começa em uma camada superior com poucos nós, aproxima-se da região relevante e desce progressivamente até a camada base. Na prática, o algoritmo explora um conjunto de candidatos em torno das melhores posições encontradas, em vez de comparar a query com todos os vetores. Visualização operacional" }, { "nivel": 2, "titulo": "Como HNSW navega em camadas", "texto": "Diagrama conceitual: a busca começa em uma camada superior esparsa, usa conexões longas para se aproximar da região relevante e desce até a camada base, onde explora vizinhos locais. L2QAB ↓ desce próximo à melhor região L1·CDE· ↓ refina com mais candidatos L01234567 ENTRY POINT → LONG-RANGE NAVIGATION → DESCENT → LOCAL EXPLORATION → TOP-k Capítulo 10" }, { "nivel": 2, "titulo": "10. O parâmetro M", "texto": "M controla aproximadamente o número de conexões mantidas por nó durante construção do grafo. Valores maiores tendem a melhorar conectividade e recall, mas aumentam memória e custo de construção. Capítulo 11" }, { "nivel": 2, "titulo": "11. efConstruction", "texto": "efConstruction controla a profundidade da exploração usada para construir as conexões do grafo. Construção mais cuidadosa pode melhorar qualidade do índice, porém custa mais CPU/tempo e memória transitória. Capítulo 12" }, { "nivel": 2, "titulo": "12. efSearch", "texto": "efSearch controla quantos candidatos são explorados durante busca. É um dos principais knobs para o trade-off recall-latency. Pesquisa de 2025 mostrou que usar ef estático para todas as queries pode ser subótimo e propôs exploração adaptativa ao grau de dificuldade da query. Capítulo 13" }, { "nivel": 2, "titulo": "13. Query difficulty em HNSW", "texto": "Queries não possuem a mesma dificuldade. Algumas regiões do espaço vetorial são densas, ambíguas ou mal separadas. Isso explica por que average recall sozinho pode esconder tail failures: um sistema pode ter média alta e falhar de forma recorrente em subconjuntos difíceis. Caso operacional ilustrativo" }, { "nivel": 2, "titulo": "Escolha de M, efConstruction e efSearch em um cenário realista", "texto": "**Cenário:** base com ~1 milhão de chunks, top-10 retrieval, meta interna Recall@10 ≥ 0,95 e p95 de busca ≤ 80 ms. Os valores abaixo são pontos de partida para grid search, não resultados medidos neste artigo. | Etapa | Configuração | Objetivo | Decisão | |---|---|---|---| | Baseline | M=16 · efConstruction=200 · efSearch=64 | Iniciar medição | Não adotar sem benchmark | | Recall baixo | efSearch 64 → 128 | Explorar mais candidatos | Manter se recall sobe e p95 respeita SLO | | Tail failures | M=16 vs M=32 | Aumentar conectividade | Escolher menor memória que resolva tails | | Build caro | efConstruction 100 vs 200 | Reduzir custo de construção | Aceitar só sem perda material de recall | | Produção | efSearch adaptativo | Queries fáceis pagam menos | Validar por estrato de dificuldade | **Princípio:** se M=16 e efSearch=64 já cumprem recall e SLO, aumentar parâmetros pode apenas elevar memória/latência sem ganho útil. Capítulo 14" }, { "nivel": 2, "titulo": "14. Average recall pode enganar", "texto": "Uma crítica publicada em 2025/2026 mostra que avaliações de vector databases focadas apenas em average recall ocultam variabilidade entre queries. Para RAG, esses tail cases importam porque uma pequena fração de queries com recall ruim pode produzir respostas downstream sistematicamente frágeis. Capítulo 15" }, { "nivel": 2, "titulo": "15. Recall distribution", "texto": "Além do Recall@k médio, um benchmark deveria reportar distribuição por query, percentis, worst-case buckets e estratos semânticos. Isso conecta vector search ao Benchmark Science do SHERMA: primeiro validar o instrumento, depois comparar o sistema. Embedding model é parte do experimento" }, { "nivel": 2, "titulo": "OpenAI, Cohere e open-source não compartilham o mesmo espaço vetorial", "texto": "Não compare cosine scores absolutos entre embedding models diferentes como se fossem a mesma escala. Cada modelo aprende seu próprio espaço, dimensionalidade, normalização e objetivo. A comparação correta é modelo por modelo no mesmo corpus e nas mesmas qrels, usando Recall@k/nDCG e outcomes downstream. | Família | Controle | Comparação válida | Evitar | |---|---|---|---| | OpenAI embeddings | Modelo, dimensions, corpus | Recall/nDCG comum | Cosine bruto vs outro modelo | | Cohere Embed | search_query/search_document, modelo | Mesmas qrels | Ignorar modo de entrada recomendado | | Sentence Transformers/open-source | Checkpoint, pooling, normalization | Benchmark reproduzível | Generalizar de um checkpoint para toda família | FIX CORPUS + FIX QRELS → CHANGE EMBEDDING MODEL → REBUILD INDEX → MEASURE E1 Capítulo 16" }, { "nivel": 2, "titulo": "16. IVF", "texto": "Inverted File Index particiona o espaço vetorial em regiões ou clusters e busca apenas nos clusters mais promissores. O principal parâmetro operacional costuma ser quantos clusters/probes são visitados. Mais probes elevam recall e custo. Capítulo 17" }, { "nivel": 2, "titulo": "17. Product Quantization", "texto": "Product Quantization comprime vetores dividindo dimensões em subespaços e representando cada subvetor por códigos discretos. O benefício é grande redução de memória e possibilidade de comparação aproximada; o custo é erro de quantização. Capítulo 18" }, { "nivel": 2, "titulo": "18. Scalar e binary quantization", "texto": "Scalar quantization reduz precisão numérica por dimensão; binary quantization representa vetores de forma ainda mais compacta. Compressão pode reduzir custo, mas precisa ser avaliada contra recall e downstream utility, não apenas footprint. Chunking" }, { "nivel": 2, "titulo": "O índice pode estar bom e o chunk estar errado", "texto": "Chunking define a unidade que será embeddada e recuperada. Chunks grandes podem misturar tópicos; chunks pequenos podem perder relações necessárias. Portanto, chunk size, overlap e regra de segmentação precisam ser declarados no benchmark. | Estratégia | Vantagem | Risco | Métrica | |---|---|---|---| | Fixed-size | Simples | Quebra semântica | Recall + coverage | | Fixed + overlap | Protege fronteiras | Redundância | Recall + duplicate rate | | Semantic/structure-aware | Preserva unidades | Complexidade | nDCG + E2/E3 | | Hierarchical | Granularidade múltipla | Custo | Coverage + latency | CHUNKING → EMBEDDING → ANN → E1. NÃO ATRIBUIR AO HNSW UM ERRO CRIADO ANTES DELE. Capítulo 19" }, { "nivel": 2, "titulo": "19. Filtered ANN", "texto": "Filtered Approximate Nearest Neighbor Search combina similaridade vetorial com restrições de metadata, como idioma, data, categoria ou permissão. Trabalho de 2026 estendeu ANN-Benchmarks para filtered search e avaliou estratégias em FAISS, Milvus e pgvector, mostrando que filtro e índice precisam ser avaliados juntos. Capítulo 20" }, { "nivel": 2, "titulo": "20. Pre-filter, post-filter e integrated filtering", "texto": "Pre-filter reduz o universo antes da busca; post-filter filtra depois da recuperação; integrated filtering tenta incorporar predicados ao próprio processo de busca. Cada estratégia altera recall, latency e risco de retornar menos que k resultados válidos. Capítulo 21" }, { "nivel": 2, "titulo": "21. Metadata filtering em GEO/RAG", "texto": "Em RAG, filtros podem impor constraints de data, jurisdição, produto, idioma ou permissão. Um embedding muito próximo pode ser inelegível por metadata. Portanto, similarity score nunca é toda a função de seleção. Capítulo 22" }, { "nivel": 2, "titulo": "22. Index freshness", "texto": "Vector databases precisam lidar com inserções, atualizações e remoções. A latência entre publicação e disponibilidade no índice é um problema operacional distinto de similarity. Para GEO, isso lembra que 'estar semanticamente próximo' não importa se a evidência ainda não entrou no corpus pesquisável. Capítulo 23" }, { "nivel": 2, "titulo": "23. Ghost vectors e deleções", "texto": "Pesquisa de 2026 mostrou que soft-deleted embeddings podem permanecer exploráveis em determinadas arquiteturas e cenários, chamando atenção para segurança e governança de lifecycle. Isso reforça que vector database é também problema de integridade e compliance, não apenas performance. Capítulo 24" }, { "nivel": 2, "titulo": "24. Out-of-core ANN", "texto": "Quando o índice não cabe em memória, sistemas usam SSD, memória desagregada ou técnicas de caching/prefetch. Trabalhos de 2026 investigam ANN out-of-core e HNSW em memória desagregada, deslocando parte do gargalo para I/O e rede. Capítulo 25" }, { "nivel": 2, "titulo": "25. d-HNSW", "texto": "d-HNSW foi proposto em 2026 para sistemas com memória desagregada via RDMA, atacando pointer chasing, layout remoto e transferências redundantes. Esse tipo de pesquisa mostra que a fronteira de ANN envolve também arquitetura de sistemas. Capítulo 26" }, { "nivel": 2, "titulo": "26. Multi-vector retrieval", "texto": "Alguns documentos, produtos ou itens são representados por múltiplos vetores, por exemplo diferentes campos ou modalidades. MV-HNSW, de 2026, propõe indexação nativa para multi-vector similarity em vez de colapsar tudo em um único vetor. Capítulo 27" }, { "nivel": 2, "titulo": "27. Hybrid search", "texto": "Hybrid search combina sinais sparse e dense. BM25 captura correspondência lexical explícita; dense retrieval captura proximidade semântica. A combinação costuma usar rank fusion como Reciprocal Rank Fusion ou score fusion, seguida ou não por reranking. Capítulo 28" }, { "nivel": 2, "titulo": "28. Hybrid não significa sempre melhor", "texto": "Há benchmarks de 2026 em que hybrid retrieval melhora sobre dense-only e sparse-only, mas o efeito varia por dataset, query formulation e reranker. Portanto, 'hybrid é sempre superior' também precisa ser rejeitado como regra universal. Capítulo 29" }, { "nivel": 2, "titulo": "29. RRF", "texto": "Reciprocal Rank Fusion combina rankings sem exigir que os scores originais estejam na mesma escala. Isso é especialmente útil quando BM25 e dense retrieval produzem scores incomparáveis numericamente. Capítulo 30" }, { "nivel": 2, "titulo": "30. Cross-encoder reranking", "texto": "Após recuperar um candidate set amplo, um cross-encoder pode avaliar query-document pair de forma mais rica e reorganizar o ranking. Retrieval decide quem entra na disputa; reranking altera a ordem dentro do candidate set. Se a Gold Evidence não entrou, o reranker não consegue recuperá-la do nada. Reranking posterior ao ANN" }, { "nivel": 2, "titulo": "Cross-encoder e LLM reranking: candidatos primeiro, julgamento depois", "texto": "Após ANN, um cross-encoder ou um LLM/judge pode reranquear o candidate set. Cross-encoders processam query e documento conjuntamente; LLM reranking pode usar instruções e múltiplos critérios, mas custa mais e exige auditoria de judge bias. Nenhum reranker promove uma Gold Evidence ausente do candidate set inicial. E1 Retrieval precisa ser medido antes de E2. | 2º estágio | Força | Custo | Risco | |---|---|---|---| | Cross-encoder | Pairwise relevance rica | Maior que bi-encoder | Domain mismatch | | LLM reranker | Critérios flexíveis | Latency/tokens | Judge/position bias | | Rules/metadata | Governança explícita | Baixo | Rigidez | ANN TOP-N → CROSS-ENCODER / LLM RERANKER → TOP-k → E2 ADMISSION Capítulo 31" }, { "nivel": 2, "titulo": "31. Candidate diversity", "texto": "Alta similaridade pode produzir listas redundantes. Em algumas tarefas, diversidade de evidência é necessária para multi-hop ou coverage. Por isso, métricas de diversidade e coverage podem complementar nDCG/Recall quando o objetivo é RAG. Capítulo 32" }, { "nivel": 2, "titulo": "32. Similarity não é relevância final", "texto": "Um nearest neighbor é 'próximo' sob o embedding. Relevância final é uma relação entre query, necessidade informacional, documento, contexto e tarefa. Essa distinção vem da tradição de Information Retrieval e deve ser preservada em GEO. Capítulo 33" }, { "nivel": 2, "titulo": "33. Similarity não é autoridade", "texto": "Cosine 0,92 não significa que a fonte é confiável, experiente ou institucionalmente reconhecida. Autoridade precisa vir de evidência externa, provenance, reputação, políticas do sistema ou outros sinais — não da geometria vetorial isolada. Capítulo 34" }, { "nivel": 2, "titulo": "34. Vector database não é Knowledge Graph", "texto": "Vector DBs armazenam representações e permitem similarity search. Knowledge Graphs modelam entidades e relações explícitas. Os dois podem coexistir e se complementar, mas não são equivalentes. Capítulo 35" }, { "nivel": 2, "titulo": "35. E1 Retrieval no Framework 6 Camadas", "texto": "E1 é a camada central deste artigo. Aqui perguntamos: a Gold Evidence entrou no candidate set? Recall@k, MRR e nDCG avaliam aspectos distintos; nenhuma delas substitui context admission ou utilization. Capítulo 36" }, { "nivel": 2, "titulo": "36. E2 Admission começa depois", "texto": "Mesmo uma evidence unit recuperada pode ser descartada por filtro, reranking, deduplicação, budget ou context selection. Por isso, E1 Retrieval e E2 Admission precisam permanecer separados. Capítulo 37" }, { "nivel": 2, "titulo": "37. Protocolo HNSW: Fixed Corpus + Fixed Queries", "texto": "Congele corpus, embeddings e queries. Varie apenas M, efConstruction e efSearch. Meça Recall@k, latency, memory e tail recall. Esse desenho isola o índice e evita atribuir ao HNSW mudanças que vieram do embedding model. Capítulo 38" }, { "nivel": 2, "titulo": "38. Protocolo Hybrid: dense vs sparse vs fusion", "texto": "Use o mesmo corpus e query set para BM25, dense, hybrid-RRF e hybrid+reranker. Reportar Recall@k, nDCG, latency e downstream Gold Evidence Admission permite separar ganho de retrieval de ganho de reranking. Capítulo 39" }, { "nivel": 2, "titulo": "39. Protocolo filtered ANN", "texto": "Defina filtros de baixa, média e alta seletividade e compare pre-filter, post-filter e integrated search. O outcome precisa incluir recall condicional apenas entre documentos elegíveis. Capítulo 40" }, { "nivel": 2, "titulo": "40. Protocolo quantization", "texto": "Compare float32, scalar quantization, product quantization e, quando aplicável, binary representations. Meça memory, latency, Recall@k e downstream answer quality para saber se a perda aproximada é operacionalmente aceitável. Capítulo 41" }, { "nivel": 2, "titulo": "41. Tail-risk benchmark", "texto": "Separe queries em easy, medium e hard buckets por dificuldade observada ou density proxy. Um sistema só deve ser chamado robusto quando o ganho médio não esconde colapso nos tails. Capítulo 42" }, { "nivel": 2, "titulo": "42. Firewall epistemológico", "texto": "O artigo proíbe seis equivalências: embedding não é significado completo; similarity não é relevância final; nearest neighbor não é melhor fonte; HNSW não é ranking final; vector database não é Knowledge Graph; cosine alto não é autoridade. Claims que atravessam essas fronteiras sem experimento devem ser rebaixados a hipótese. Capítulo 43" }, { "nivel": 2, "titulo": "43. Hipóteses falsificáveis", "texto": "H1: aumentar efSearch melhora Recall@k com custo de latency até um ponto de saturação. H2: average recall esconderá tail failures em alguns datasets. H3: hybrid retrieval terá efeitos heterogêneos por tipo de query. H4: quantization poderá reduzir memória sem perda material downstream em alguns regimes. H5: filtered ANN exigirá tuning específico por seletividade. Capítulo 44" }, { "nivel": 2, "titulo": "44. Aplicabilidade prática", "texto": "Para equipes de RAG, escolha de índice deve começar pela pergunta: qual recall mínimo é necessário dentro do budget de latency/memory? Para GEO, a ação prática não é 'otimizar HNSW do ChatGPT', mas compreender que retrieval é uma etapa própria e testar seus próprios sistemas ou produtos observáveis sem inventar mecanismos internos. Capítulo 45" }, { "nivel": 2, "titulo": "45. Checklist operacional", "texto": "Declare embedding model, corpus snapshot, index type, parameters, distance metric, filter strategy, k, query set e hardware. Reportar apenas latency ou apenas average recall é insuficiente. Guia de decisão" }, { "nivel": 2, "titulo": "O que fazer na prática", "texto": "**Recall baixo:** valide qrels, embedding model e chunking antes de aumentar exploração do ANN. **Recall alto e resposta ruim:** investigue E2 Admission e E3 Utilization. **Latency alta:** ajuste efSearch, quantization, index type e hardware sem sacrificar o recall mínimo. **Tail failures:** estratifique queries. **Filtros fortes:** benchmark filtered ANN separadamente. **Exact match importante:** compare sparse+dense hybrid. DIAGNOSE FIRST → CHANGE ONE LAYER → MEASURE E1 → TRACE E2/E3 → THEN CONCLUDE Produtos fechados" }, { "nivel": 2, "titulo": "Como auditar retrieval em ChatGPT Search e outros sistemas sem acesso ao índice", "texto": "Em produtos fechados, o pesquisador não observa diretamente o embedding model, o índice ANN, os parâmetros de busca, o candidate pool completo nem o reranker interno. Portanto, a auditoria correta é **black-box e comportamental**: medir quais fontes aparecem, em quais condições, com qual estabilidade e depois de quais perturbações observáveis. No caso do ChatGPT Search, a OpenAI documenta que o produto pode pesquisar a web e apresentar links/citações relevantes nas respostas. Isso permite observar **fontes citadas e comportamento externo**, mas não autoriza inferir qual índice vetorial, algoritmo ANN ou score interno foi usado. | Observável | Parcialmente observável | Não observável sem acesso interno | |---|---|---| | Query enviada | Se houve busca externa | Embedding interno da query | | Resposta final | Conjunto de fontes citadas/mostradas | Candidate set completo | | URLs citadas | Ordem/recorrência das fontes | HNSW/IVF/PQ ou outro índice | | Timestamp da execução | Variação entre repetições | efSearch, M, reranker score | | Prompt/framing | Resposta a perturbações | Política proprietária completa de seleção | BLACK-BOX RULE: OBSERVE OUTPUTS → PERTURB INPUTS → REPEAT → MEASURE STABILITY → INFER ONLY BEHAVIOR, NOT INTERNAL MECHANISM Protocolo black-box" }, { "nivel": 2, "titulo": "CBR-8: Closed-Box Retrieval Audit em oito etapas", "texto": "| Gate | Procedimento | Métrica | Interpretação permitida | |---|---|---|---| | CBR-1 | Definir 30–100 queries e Gold Sources independentes | Coverage do query set | Qualidade do benchmark | | CBR-2 | Executar cada query em múltiplas repetições e horários | Citation stability / source overlap | Estabilidade comportamental | | CBR-3 | Registrar todas as URLs citadas/mostradas | Source frequency | Presença observada | | CBR-4 | Aplicar query paraphrase mantendo intenção | Jaccard / rank overlap | Sensibilidade à formulação | | CBR-5 | Aplicar entity/brand-neutral framing | Attribution shift | Possível framing sensitivity | | CBR-6 | Variar recência quando a pergunta permite | Temporal source turnover | Sensibilidade temporal | | CBR-7 | Comparar fontes citadas com Gold Sources externas | Observed Source Recall* | Recall sobre superfície visível, não candidate recall interno | | CBR-8 | Replicar em sessão/conta/ambiente independente quando possível | Cross-run consistency | Robustez externa do comportamento | ***Observed Source Recall** deve ser rotulado com cuidado: ele mede quantas Gold Sources aparecem na _superfície citada/visível_. Não é Recall@k do índice interno, porque o candidate set proprietário é desconhecido. Matriz de perturbação" }, { "nivel": 2, "titulo": "Como testar sem fingir acesso ao reranker", "texto": "| Treatment | Controle | Outcome | Claim máximo permitido | |---|---|---|---| | Paráfrase da query | Mesma intenção semântica | Overlap de fontes | “A superfície de fontes é sensível à formulação.” | | Remover marca da pergunta | Versão brand-led | Mudança de citações | “O framing altera o comportamento observado.” | | Adicionar restrição temporal | Query sem data | Turnover de fontes | “A busca observada responde à recência.” | | Trocar localidade | Mesma necessidade informacional | Source locality | “Há sensibilidade geográfica observada.” | | Repetir N vezes | Mesma query | Variance/consistency | “A seleção visível é estável/instável.” | Não é permitido converter esses resultados em afirmações como “o HNSW do ChatGPT aumentou efSearch” ou “o reranker interno penalizou a página”. O mecanismo interno continua não observado. Métricas black-box" }, { "nivel": 2, "titulo": "O que medir em produtos fechados", "texto": "| Métrica | Definição operacional | O que ela NÃO mede | |---|---|---| | Citation Presence Rate | % de execuções em que uma fonte aparece | Probabilidade interna de retrieval | | Source Stability | Overlap de fontes entre repetições | Determinismo do índice | | Observed Source Recall | Gold Sources visíveis / Gold Sources esperadas | Recall do candidate pool proprietário | | Rank/Order Stability | Persistência de ordem quando exposta | Score interno de reranking | | Attribution Accuracy | Claim atribuído à fonte/entidade correta | Mecanismo interno de atribuição | | Temporal Turnover | Mudança de fontes ao longo do tempo | Política exata de freshness | Integração com E1–E6" }, { "nivel": 2, "titulo": "Em sistema fechado, E1 deve ser rebaixado epistemologicamente", "texto": "Quando o candidate set não é observável, não se deve marcar **E1 Retrieval = PASS/FAIL** como se o índice estivesse instrumentado. O status correto é **E1-OBSERVED-SURFACE**: sabemos quais fontes chegaram à superfície visível, mas não sabemos quais foram recuperadas e descartadas internamente. E2 Admission também é apenas parcialmente observável. E3–E6 podem ser avaliados sobre a resposta final — utilization, attribution, fidelity e completeness — mas não revelam sozinhos o caminho interno que produziu o resultado. | Camada | Sistema instrumentado | Produto fechado | |---|---|---| | E1 Retrieval | Candidate set + Recall@k | E1-Observed-Surface | | E2 Admission | Context trace | Parcial/inferido | | E3 Utilization | Gold Fact Use + trace interno | Gold Fact Use externo | | E4 Attribution | Attribution + mecanismo | Attribution observada | | E5 Fidelity | Gold Fact preservation | Gold Fact preservation | | E6 Completeness | Requirement Coverage + context trace | Requirement Coverage com causalidade limitada | Exemplo GEO" }, { "nivel": 2, "titulo": "Auditoria de presença de uma empresa em ChatGPT Search", "texto": "Exemplo: construir 50 queries neutras sobre uma categoria e cidade. Definir previamente um conjunto de fontes potencialmente relevantes com critérios independentes. Executar cada query cinco vezes em blocos temporais, registrar citações, URLs, posição visível e claim associado. Depois, repetir com paráfrases e versões sem mencionar a marca. O resultado pode mostrar que uma fonte aparece em 62% das execuções e mantém overlap alto entre paráfrases. O claim permitido seria: **“a fonte apresentou alta presença e estabilidade na superfície observável deste benchmark”**. Não seria permitido afirmar: **“o ANN interno do ChatGPT ranqueia a fonte em primeiro”**. 50 QUERIES × 5 REPEATS × PARAPHRASE CONTROL → SOURCES → STABILITY → ATTRIBUTION → CLAIM WITH EPISTEMIC LIMIT Capítulo 46" }, { "nivel": 2, "titulo": "46. Contribuição aplicada de Raphael Sousa Pereira", "texto": "Raphael Sousa Pereira não reivindica autoria sobre HNSW, IVF, PQ, ANN, BM25, RRF ou cross-encoder reranking. A contribuição aplicada deste estudo é integrar vector search ao Framework 6 Camadas e ao programa de GEO/RAG, delimitando E1 Retrieval como etapa própria e exigindo que similarity, relevance, authority e citation sejam tratadas como conceitos distintos. Capítulo 47" }, { "nivel": 2, "titulo": "47. Agenda empírica", "texto": "O próximo passo é construir um benchmark brasileiro com corpus fixo, Gold Evidence e estratos de query, comparando HNSW, IVF/PQ, dense exact, BM25, hybrid-RRF e reranking. A execução deve publicar recall distribution, latency, memory, tail failures e downstream E2–E4. Capítulo 48" }, { "nivel": 2, "titulo": "48. Conclusão", "texto": "Vector search aproxima candidatos; não decide sozinho verdade, autoridade ou citação. Em GEO, compreender ANN/HNSW é compreender a engenharia de E1 Retrieval — e saber exatamente onde termina a geometria vetorial e começam as decisões posteriores do pipeline. Comparação" }, { "nivel": 2, "titulo": "Exact, HNSW, IVF e PQ", "texto": "| Estratégia | Força | Custo | Risco principal | |---|---|---|---| | Exact NN | Recall exato | Latency/compute altos em escala | Baixa escalabilidade | | HNSW | Recall alto + baixa latency | Memória de grafo | Tail failures / tuning | | IVF | Reduz espaço pesquisado | Treino/centroids + probes | Cluster miss | | PQ | Compressão forte | Erro aproximado | Perda de recall | Framework 6 Camadas" }, { "nivel": 2, "titulo": "E1 Retrieval é o centro deste artigo", "texto": "| Camada | Papel | Métrica/controle | |---|---|---| | E1 Retrieval | ANN, sparse, hybrid, filters | Recall@k, MRR, nDCG, tail recall | | E2 Admission | Reranking, dedup, context selection | Gold Evidence Admitted | | E3 Utilization | Gerador usa evidência? | Gold Fact Use | | E4 Attribution | Fonte/entidade correta? | Attribution Accuracy | | E5 Fidelity | Significado preservado? | Gold Fact Preservation | | E6 Completeness | Cobertura dos requisitos | Requirement Coverage | FIX CORPUS + FIX QUERIES + FIX EMBEDDINGS → VARY INDEX → MEASURE E1 → TRACE E2–E4 Firewall epistemológico" }, { "nivel": 2, "titulo": "Seis equivalências proibidas", "texto": "| Confusão | Correção | |---|---| | Embedding = significado completo | Embedding é uma representação aprendida. | | Similarity = relevância final | Similarity é um sinal do candidate retrieval. | | Nearest neighbor = melhor fonte | Fonte precisa ser avaliada por tarefa/evidência. | | HNSW = ranking final | HNSW gera candidatos aproximados. | | Vector DB = Knowledge Graph | Representação vetorial e relações explícitas são estruturas distintas. | | Cosine alto = autoridade | Autoridade não é uma propriedade geométrica do embedding. | FAQ" }, { "nivel": 2, "titulo": "Perguntas sobre Vector Databases, ANN, HNSW e GEO", "texto": "**P:** O que é uma vector database? É um sistema que armazena embeddings e permite recuperar vetores semelhantes, normalmente com indexação ANN, metadata filters e operações de atualização. **P:** O que é ANN? Approximate Nearest Neighbor é a busca aproximada por vetores próximos, usada para reduzir custo em coleções grandes. **P:** O que é HNSW? É um índice ANN baseado em grafo navegável hierárquico, com camadas de atalhos e uma camada base mais densa. **P:** O que é efSearch? É um parâmetro do HNSW que controla quão amplamente o grafo é explorado durante a busca, afetando recall e latency. **P:** Cosine similarity mede relevância? Não completamente. Mede proximidade vetorial segundo o embedding model; relevância final depende da tarefa e do pipeline. **P:** HNSW é o ranking final? Não. HNSW produz candidatos aproximados; filtros, fusion, reranking e context selection podem alterar a lista final. **P:** Vector database é Knowledge Graph? Não. Vector DBs trabalham com representações vetoriais; Knowledge Graphs representam entidades e relações explícitas. **P:** Como vector search entra no Framework 6 Camadas? Principalmente em E1 Retrieval. E2 Admission começa quando candidatos recuperados são filtrados, reranqueados ou selecionados para o contexto. **P:** Qual experimento é mais importante? Fixed Corpus + Fixed Queries + Fixed Embeddings, variando apenas o índice/parâmetros e medindo Recall@k, latency, memory e tail recall. **P:** Como auditar retrieval no ChatGPT Search sem acesso ao índice? Use um protocolo black-box: query set pré-definido, repetições, registro das fontes visíveis, paráfrases, controles de framing e recência, métricas de estabilidade e comparação com Gold Sources externas. Não trate a superfície citada como candidate set interno nem infira HNSW, efSearch ou reranker proprietário. **P:** Qual é a contribuição de Raphael Sousa Pereira? Integrar ANN/HNSW ao programa de GEO/RAG e estabelecer um firewall entre similarity, relevance, authority e citation. Referências" }, { "nivel": 2, "titulo": "Base científica e pesquisa recente", "texto": "1. **Malkov & Yashunin — Efficient and robust approximate nearest neighbor search using HNSW** [https://arxiv.org/abs/1603.09320](https://arxiv.org/abs/1603.09320) 2. **A Comprehensive Survey on Vector Database: Storage and Retrieval Techniques** [https://arxiv.org/abs/2310.11703](https://arxiv.org/abs/2310.11703) 3. **Distribution-Aware Exploration for Adaptive HNSW Search** [https://arxiv.org/abs/2512.06636](https://arxiv.org/abs/2512.06636) 4. **A Critique of Current Vector Database Assessments** [https://arxiv.org/abs/2507.00379](https://arxiv.org/abs/2507.00379) 5. **Filtered Approximate Nearest Neighbor Search in Vector Databases (2026)** [https://arxiv.org/abs/2602.11443](https://arxiv.org/abs/2602.11443) 6. **d-HNSW: A High-performance Vector Search Engine on Disaggregated Memory (2026)** [https://arxiv.org/abs/2603.13591](https://arxiv.org/abs/2603.13591) 7. **MV-HNSW: Unified and Efficient Approach for Multi-Vector Similarity Search (2026)** [https://arxiv.org/abs/2604.02815](https://arxiv.org/abs/2604.02815) 8. **From BM25 to Corrective RAG: Benchmarking Retrieval Strategies (2026)** [https://arxiv.org/abs/2604.01733](https://arxiv.org/abs/2604.01733) 9. **Hybrid Retrieval and Query Rewriting for Multi-Turn RAG (2026)** [https://arxiv.org/abs/2606.28352](https://arxiv.org/abs/2606.28352) 10. **Caraman at SemEval-2026 Task 8** [https://arxiv.org/abs/2605.12028](https://arxiv.org/abs/2605.12028) 11. **Ghost Vectors: Soft-Deleted Embeddings Remain Exploitable (2026)** [https://arxiv.org/abs/2606.18497](https://arxiv.org/abs/2606.18497) 12. **Vector Search for the Future: From Memory-Resident to Cloud-Native Systems (2026)** [https://arxiv.org/abs/2601.01937](https://arxiv.org/abs/2601.01937) 13. **Attribute Filtering in Approximate Nearest Neighbor Search** [https://arxiv.org/abs/2508.16263](https://arxiv.org/abs/2508.16263) 14. **ANNLib: A Development Framework for Efficient ANN Search (2026)** [https://arxiv.org/abs/2607.17582](https://arxiv.org/abs/2607.17582) 15. **OpenAI — Vector embeddings** [https://developers.openai.com/api/docs/guides/embeddings](https://developers.openai.com/api/docs/guides/embeddings) 16. **Cohere — Introduction to Embeddings** [https://docs.cohere.com/docs/embeddings](https://docs.cohere.com/docs/embeddings) 17. **Cohere — Rerank** [https://docs.cohere.com/docs/rerank](https://docs.cohere.com/docs/rerank) 18. **Sentence Transformers — Retrieve & Re-Rank** [https://sbert.net/examples/sentence_transformer/applications/retrieve_rerank/README.html](https://sbert.net/examples/sentence_transformer/applications/retrieve_rerank/README.html) 19. **OpenAI — ChatGPT Search** [https://help.openai.com/en/articles/9237897-chatgpt-search](https://help.openai.com/en/articles/9237897-chatgpt-search) 20. **OpenAI — Introducing ChatGPT Search** [https://openai.com/index/introducing-chatgpt-search/](https://openai.com/index/introducing-chatgpt-search/) Conclusão" }, { "nivel": 2, "titulo": "Proximidade encontra candidatos. Evidência decide se eles servem.", "texto": "“O erro metodológico começa quando um score geométrico é promovido a prova de relevância ou autoridade.”Raphael Sousa Pereira · 2026 [Conhecer Raphael Sousa Pereira](https://seonegocionomapa.com.br/raphael-sousa-pereira/)" }, { "nivel": 2, "titulo": "Continue a investigação", "texto": "Esses materiais abordam etapas complementares do mesmo processo informacional. Leia cada método com seu recorte e suas limitações: - [Hybrid Search e RRF](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/hybrid-search-bm25-vetores-reranking-geo-2026/) - [ANN/HNSW em Ciência da Informação](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/ann-hnsw-ciencia-informacao-geo-2026/) - [Guia original de Vector Databases](https://raphaelsousapereira.com.br/vector-databases-geo-2026/) [Voltar ao índice da Biblioteca Científica](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/)" } ], "perguntas": [], "links": [ "https://arxiv.org/abs/1603.09320", "https://arxiv.org/abs/2310.11703", "https://arxiv.org/abs/2507.00379", "https://arxiv.org/abs/2508.16263", "https://arxiv.org/abs/2512.06636", "https://arxiv.org/abs/2601.01937", "https://arxiv.org/abs/2602.11443", "https://arxiv.org/abs/2603.13591", "https://arxiv.org/abs/2604.01733", "https://arxiv.org/abs/2604.02815", "https://arxiv.org/abs/2605.12028", "https://arxiv.org/abs/2606.18497", "https://arxiv.org/abs/2606.28352", "https://arxiv.org/abs/2607.17582", "https://developers.openai.com/api/docs/guides/embeddings", "https://docs.cohere.com/docs/embeddings", "https://docs.cohere.com/docs/rerank", "https://help.openai.com/en/articles/9237897-chatgpt-search", "https://openai.com/index/introducing-chatgpt-search/", "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/", "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/ann-hnsw-ciencia-informacao-geo-2026/", "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/hybrid-search-bm25-vetores-reranking-geo-2026/", "https://raphaelsousapereira.com.br/vector-databases-geo-2026/", "https://sbert.net/examples/sentence_transformer/applications/retrieve_rerank/README.html", "https://seonegocionomapa.com.br/raphael-sousa-pereira/" ], "jsonld": [] }