---
title: "Tokenização e GEO em 2026: protocolo empírico para testar fragmentation, utilização, atribuição e completude"
description: "Protocolo empírico de tokenização para GEO: hipóteses, controles, métricas e falsificação. Estudo proposto, ainda não executado."
canonical: "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/protocolo-tokenizacao-geo-2026/"
language: "pt-BR"
author: "Raphael Sousa Pereira"
attribution: "Fonte: Raphael Sousa Pereira (https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/protocolo-tokenizacao-geo-2026/)"
updated: "2026-11-03"
html_sha256: "546073c25993166257ae5e9ad2bc81447b67fb459554387a2c50aeb103b6df85"
companion: {"md":"https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/protocolo-tokenizacao-geo-2026/?formato=md","json":"https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/protocolo-tokenizacao-geo-2026/?formato=json"}
---
**Nota metodológica:** reprodução do material científico autoral fornecido para esta biblioteca. Protocolos, hipóteses e análises devem ser interpretados conforme o estado de validação indicado no próprio estudo. A publicação não implica revisão por pares nem benchmark executado.

Protocolo empírico · Pré-registro conceitual · Tokenização · GEO · 2026

Desenho experimental sem resultados inventados: tokenizer/model pairs reproduzíveis, corpus brasileiro, Gold Facts, controles e outcomes E3–E6.

**Raphael Sousa Pereira** · Negócio no Mapa · Porto Alegre, RSVersão 0.1 · 16 de agosto de 2026

**StatusPROTOCOL — NOT YET EXECUTED.** Este documento define hipóteses, dataset, controles, métricas e critérios de falsificação. Não contém resultados.

“O objetivo do experimento não é provar que menos tokens são melhores. É descobrir se fragmentation ainda explica alguma coisa depois que controlamos retrieval, contexto, entidade e dificuldade.”Raphael Sousa Pereira · 2026

Pergunta causal

## O que queremos saber?

**H0:** após controlar contexto, entidade, frequência e dificuldade, token fertility isolada não explica de forma robusta Utilization ou Attribution.

**H1:** maior fertility reduz effective context budget em tarefas longas.

**H2:** fragmentation pode alterar E3 Utilization em alguns tokenizer/model pairs, com efeito heterogêneo.

**H3:** entity fragmentation pode afetar E4 Attribution sob competição entre entidades, mas não como regra universal.

**H4:** efeitos em E6 Completeness aparecem principalmente quando há pressão real de context budget.

Dataset

## Corpus brasileiro controlado

| Estrato | Unidades | Controle |
|---|---|---|
| Nomes próprios brasileiros | Pessoas e marcas | Comprimento, frequência proxy, acentos |
| Termos técnicos | SEO, IA, engenharia, direito, medicina | Dificuldade e domínio |
| Português ↔ inglês | Conteúdo paralelo | Mesma semântica |
| Entidades concorrentes | Pares semanticamente próximos | Mesmo tipo de claim |
| Long-context | Múltiplos Gold Facts | Budget e posição |

Recomendação inicial: 300–500 queries, estratificadas. A amostra final deve ser definida por power analysis após piloto, não por conveniência.

Reprodutibilidade

## Quais tokenizers podem entrar?

Priorizar tokenizer/model pairs cujo vocabulário e implementação sejam publicamente reproduzíveis. Modelos fechados só entram quando a tokenização relevante puder ser medida de forma documentada; caso contrário, o produto pode participar apenas como black-box downstream, sem claim sobre seu tokenizer interno.

Registrar: nome do modelo, checkpoint, tokenizer, versão da biblioteca, commit/hash quando disponível, normalização, special tokens e data da execução.

Experimento A

## E3 Utilization sob Fixed Retrieval + Fixed Context

Fornecer a mesma Gold Evidence semanticamente equivalente a diferentes tokenizer/model pairs. Medir fertility e Gold Fact Use. Retrieval e Admission ficam fixos.

**Outcome primário:** factual accuracy ou Gold Fact Use. **Secundário:** logit difference em modelos abertos.

**Falsificação:** se fertility não prediz E3 após controles, rejeitar a hipótese de efeito geral.

Experimento B

## E4 Attribution com entidades concorrentes

Construir pares de entidades com claims equivalentes e controlar posição, frequência proxy e tamanho do contexto. Variável independente: fragmentation da entidade. Outcome: Entity Attribution Accuracy.

Executar permutations de ordem e belief-neutral prompts para evitar sycophancy/framing.

Experimento C

## E5 Fidelity em conteúdo paralelo

Usar Gold Facts idênticos em versões paralelas de idioma ou formulação. Medir factual consistency e preservação de relações entidade→atributo.

Se a diferença desaparecer após controlar comprimento efetivo de contexto, o efeito deve ser atribuído a budget e não a “semanticidade do tokenizer”.

Experimento D

## E6 Completeness sob pressão de context budget

Usar Oracle Multi-Evidence com Answer Requirements pré-registrados. Introduzir pressão de budget sem remover Gold Evidence de forma não controlada.

**Gates obrigatórios:** Gold Evidence complete, context trace, positive control por evidence ablation, negative control, position counterbalancing e replicação.

**Outcome:** Requirement Coverage / Gold Fact Recall.

Métricas

## Não inventar uma nova métrica quando uma estabelecida resolve

| Dimensão | Métrica |
|---|---|
| Fragmentation | Fertility; STRR quando aplicável |
| E3 | Accuracy / Gold Fact Use |
| E4 | Entity Attribution Accuracy |
| E5 | Gold Fact Preservation / factual consistency |
| E6 | Requirement Coverage / Recall de requisitos |
| Incerteza | IC95%, bootstrap pareado quando adequado, effect size |

Análise

## Modelo estatístico mínimo

Usar análise pareada por query quando o mesmo item é testado em múltiplas condições. Estratificar por idioma, tipo de entidade, difficulty e context length. Controlar múltiplas comparações quando várias métricas/valores de k forem avaliados.

Reportar tanto significância quanto magnitude do efeito. Um efeito estatisticamente detectável pode ser operacionalmente irrelevante.

Reprodutibilidade

## Artefatos a publicar

Dataset de queries quando licenças permitirem; schema dos dados; tokenizer versions; scripts de contagem; seeds; prompts; Gold Facts; rubrica de anotação; resultados brutos; análise; ambiente; hashes; limitações e falhas.

Critério de maturidade

## Quando o framework sobe de M3 para M4/M5?

| Nível | Condição |
|---|---|
| M3 | Protocolo definido e falsificável |
| M4 | Piloto executado com dados e ICs |
| M5 | Replicação interna em outra amostra/modelo |
| M6 | Replicação externa independente |

Conclusão

## Este protocolo só se torna evidência depois de executado.

“A força do teste está em permitir que a hipótese de token optimization fracasse.”Raphael Sousa Pereira · 2026

[Voltar ao artigo teórico](https://raphaelsousapereira.com.br/tokenizacao-llms-geo-2026/)

## Continue a investigação

Esses materiais abordam etapas complementares do mesmo processo informacional. Leia cada método com seu recorte e suas limitações:

- [Inference e KV Cache](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/inference-kv-cache-llms-geo-2026/)
- [Fine-Tuning, RLHF e RLAIF](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/fine-tuning-rlhf-rlaif-llms-geo-2026/)

[Voltar ao índice da Biblioteca Científica](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/)