Tokenização e GEO em 2026: protocolo empírico para testar fragmentation, utilização, atribuição e completude

H0: após controlar contexto, entidade, frequência e dificuldade, token fertility isolada não explica de forma robusta Utilization ou Attribution.

H1: maior fertility reduz effective context budget em tarefas longas.

H2: fragmentation pode alterar E3 Utilization em alguns tokenizer/model pairs, com efeito heterogêneo.

H3: entity fragmentation pode afetar E4 Attribution sob competição entre entidades, mas não como regra universal.

H4: efeitos em E6 Completeness aparecem principalmente quando há pressão real de context budget.

Priorizar tokenizer/model pairs cujo vocabulário e implementação sejam publicamente reproduzíveis. Modelos fechados só entram quando a tokenização relevante puder ser medida de forma documentada; caso contrário, o produto pode participar apenas como black-box downstream, sem claim sobre seu tokenizer interno.

Registrar: nome do modelo, checkpoint, tokenizer, versão da biblioteca, commit/hash quando disponível, normalização, special tokens e data da execução.

Fornecer a mesma Gold Evidence semanticamente equivalente a diferentes tokenizer/model pairs. Medir fertility e Gold Fact Use. Retrieval e Admission ficam fixos.

Outcome primário: factual accuracy ou Gold Fact Use. Secundário: logit difference em modelos abertos.

Falsificação: se fertility não prediz E3 após controles, rejeitar a hipótese de efeito geral.

Construir pares de entidades com claims equivalentes e controlar posição, frequência proxy e tamanho do contexto. Variável independente: fragmentation da entidade. Outcome: Entity Attribution Accuracy.

Executar permutations de ordem e belief-neutral prompts para evitar sycophancy/framing.

Usar Gold Facts idênticos em versões paralelas de idioma ou formulação. Medir factual consistency e preservação de relações entidade→atributo.

Se a diferença desaparecer após controlar comprimento efetivo de contexto, o efeito deve ser atribuído a budget e não a “semanticidade do tokenizer”.

Usar Oracle Multi-Evidence com Answer Requirements pré-registrados. Introduzir pressão de budget sem remover Gold Evidence de forma não controlada.

Gates obrigatórios: Gold Evidence complete, context trace, positive control por evidence ablation, negative control, position counterbalancing e replicação.

Outcome: Requirement Coverage / Gold Fact Recall.

Usar análise pareada por query quando o mesmo item é testado em múltiplas condições. Estratificar por idioma, tipo de entidade, difficulty e context length. Controlar múltiplas comparações quando várias métricas/valores de k forem avaliados.

Reportar tanto significância quanto magnitude do efeito. Um efeito estatisticamente detectável pode ser operacionalmente irrelevante.

Dataset de queries quando licenças permitirem; schema dos dados; tokenizer versions; scripts de contagem; seeds; prompts; Gold Facts; rubrica de anotação; resultados brutos; análise; ambiente; hashes; limitações e falhas.