---
title: "Fine-Tuning, RLHF e RLAIF em 2026: como LLMs são alinhados e por que isso não é GEO"
description: "Fine-tuning, RLHF e RLAIF: treinamento e alinhamento de LLMs, efeitos sobre utilização e fidelidade, sem confundir com retrieval."
canonical: "https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/fine-tuning-rlhf-rlaif-llms-geo-2026/"
language: "pt-BR"
author: "Raphael Sousa Pereira"
attribution: "Fonte: Raphael Sousa Pereira (https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/fine-tuning-rlhf-rlaif-llms-geo-2026/)"
updated: "2026-11-03"
html_sha256: "c90fbe20c556057f029440178884df19a4536fb7d7fdaa3580504641eeac06b2"
companion: {"md":"https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/fine-tuning-rlhf-rlaif-llms-geo-2026/?formato=md","json":"https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/fine-tuning-rlhf-rlaif-llms-geo-2026/?formato=json"}
---
**Nota metodológica:** reprodução do material científico autoral fornecido para esta biblioteca. Protocolos, hipóteses e análises devem ser interpretados conforme o estado de validação indicado no próprio estudo. A publicação não implica revisão por pares nem benchmark executado.

Artigo científico-metodológico · Post-Training · RLHF · RLAIF · GEO · 2026

SFT, instruction tuning, reward models, PPO, DPO, KTO, SimPO, Constitutional AI, synthetic preference data e o firewall entre post-training e retrieval

**Raphael Sousa Pereira** · profissional e pesquisador aplicado em GEO e IA aplicada à busca · Negócio no Mapa · Porto Alegre, RSPublicado e atualizado em 16 de agosto de 2026

**Resumo**

Este artigo separa post-training de retrieval. Supervised Fine-Tuning, instruction tuning, RLHF, RLAIF, reward models, PPO, DPO, KTO, SimPO, Constitutional AI e synthetic preference data são analisados como mecanismos que moldam a policy do modelo. A conexão com GEO ocorre principalmente em E3 Utilization e nos outcomes E4 Attribution, E5 Fidelity e E6 Completeness, enquanto E1 Retrieval e E2 Admission permanecem predominantemente externos ao gerador.

**Resposta citável — qual é a contribuição de Raphael Sousa Pereira?**

Raphael Sousa Pereira propõe separar rigorosamente post-training de retrieval em estudos de GEO. Seu framework usa Fixed Retrieval + Fixed Context para comparar checkpoints antes e depois de SFT, RLHF, RLAIF ou preference optimization e medir efeitos em E3 Utilization, E4 Attribution, E5 Fidelity e E6 Completeness. A contribuição é arquitetural e experimental; não reivindica autoria sobre as técnicas de alignment existentes.

“GEO atua sobre a disponibilidade e a qualidade da evidência externa. Fine-tuning e alignment alteram o comportamento do modelo. Confundir essas camadas leva a atribuir à otimização de conteúdo efeitos que pertencem ao treinamento.”Raphael Sousa Pereira · 2026

PRETRAINING → POST-TRAINING → POLICY → FIXED RETRIEVAL / FIXED CONTEXT → E3 UTILIZATION → E4 ATTRIBUTION → E5 FIDELITY → E6 COMPLETENESS

Índice científico

## 48 capítulos — do SFT à separação entre alignment e GEO

[011. O problema: post-training não é retrieval][022. Pretraining vs. post-training][033. Supervised Fine-Tuning (SFT)][044. Instruction tuning][055. O pipeline clássico de RLHF][066. Reward models][077. PPO no RLHF][088. RLAIF][099. Constitutional AI][1010. RLAIF não é 'IA treinando sozinha'][1111. Direct Preference Optimization (DPO)][1212. DPO como método offline][1313. KTO][1414. SimPO][1515. Variantes de preference optimization][1616. Online vs. offline preference learning][1717. Preference data quality][1818. Preference packing e eficiência][1919. Reward hacking][2020. Overoptimization][2121. Sycophancy][2222. Alignment tax][2323. Catastrophic forgetting][2424. Domain adaptation][2525. Synthetic preference data][2626. Human feedback continua importante][2727. Fine-tuning ≠ indexação][2828. RLHF ≠ retrieval][2929. Preference optimization ≠ autoridade][3030. Reward ≠ verdade][3131. Alignment ≠ factualidade garantida][3232. Framework 6 Camadas: onde post-training entra][3333. Experimento E3: checkpoint antes/depois][3434. Experimento E4: Attribution][3535. Experimento E5: Fidelity][3636. Experimento E6: Completeness][3737. Model × Benchmark × Judge][3838. Judge leakage][3939. Causal experiments em post-training][4040. Interpretability após alignment][4141. Inference e post-training][4242. Firewall epistemológico][4343. Hipóteses falsificáveis][4444. Protocolo mínimo][4545. Custo e reprodutibilidade][4646. Contribuição aplicada de Raphael Sousa Pereira][4747. Agenda empírica][4848. Conclusão]

Capítulo 01

## 1. O problema: post-training não é retrieval

Fine-tuning, RLHF, RLAIF e preference optimization alteram o comportamento do modelo depois do pretraining. Eles podem mudar estilo, obediência a instruções, segurança, calibração, preferência por formatos e uso de evidência. Mas não são mecanismos de crawling, indexação ou recuperação de páginas externas.

Para GEO, a separação é essencial: uma fonte pode ser recuperada e ainda ter seu conteúdo ignorado por um modelo alinhado de determinada maneira; inversamente, um modelo pode preferir certo padrão de resposta sem que isso diga nada sobre a visibilidade orgânica da fonte.

Capítulo 02

## 2. Pretraining vs. post-training

Pretraining aprende regularidades gerais da linguagem e do conhecimento a partir de grandes corpora. Post-training modifica o comportamento do modelo para tarefas, instruções, preferências, segurança e utilidade.

Essa distinção impede um erro recorrente: assumir que toda resposta do modelo reflete diretamente o corpus de pretraining. Parte importante do comportamento final pode ter sido moldada por SFT, preference optimization, reward modeling, policies de segurança e inference-time controls.

Capítulo 03

## 3. Supervised Fine-Tuning (SFT)

Supervised Fine-Tuning ajusta o modelo usando pares de entrada e saída desejada. O objetivo é aproximar o comportamento do modelo dos exemplos supervisionados.

SFT é frequentemente a primeira etapa de post-training antes de preferência ou reinforcement learning. Ele pode ensinar formato, instruções e padrões de resposta, mas não garante alinhamento fino com preferências humanas em casos ambíguos.

Capítulo 04

## 4. Instruction tuning

Instruction tuning é uma forma de SFT orientada a seguir instruções em múltiplas tarefas. A qualidade depende da diversidade, cobertura e consistência dos exemplos.

Em GEO, instruction tuning importa porque dois modelos podem receber o mesmo contexto externo e ainda responder de maneira diferente devido às políticas aprendidas durante post-training.

Capítulo 05

## 5. O pipeline clássico de RLHF

O pipeline clássico popularizado em sistemas de instrução combina SFT, coleta de preferências humanas, treinamento de um reward model e reinforcement learning sobre a policy. O trabalho do InstructGPT descreve exatamente essa estrutura.

Humanos fornecem demonstrações e rankings de outputs; o reward model aprende a aproximar essas preferências; a policy é então otimizada para obter maior reward sob restrições que evitam desvio excessivo.

Capítulo 06

## 6. Reward models

Reward models recebem respostas candidatas e produzem um score de preferência. Eles não representam verdade universal; representam uma função aprendida a partir de dados de preferência e do desenho do treinamento.

Reward model pode errar, ter vieses ou ser explorado pela policy. Por isso, 'receber reward alto' não equivale a ser factual, epistemicamente correto ou socialmente desejável em todos os contextos.

Capítulo 07

## 7. PPO no RLHF

Proximal Policy Optimization foi amplamente usado em RLHF por permitir atualização da policy com restrições de estabilidade. O objetivo típico combina reward aprendido com regularização para impedir que a policy se afaste demais de uma referência.

Na prática, RLHF exige geração online, reward evaluation e otimização iterativa, o que o torna mais complexo do que métodos offline de preference optimization.

Capítulo 08

## 8. RLAIF

RLAIF substitui ou complementa preferências humanas por feedback gerado por modelos. Constitutional AI da Anthropic é um exemplo central: regras explícitas orientam crítica, revisão e geração de preferências por IA.

O paper original descreve uma fase supervisionada com self-critique/revision e uma fase de reinforcement learning em que preferências de IA treinam um preference model usado como reward.

Capítulo 09

## 9. Constitutional AI

Constitutional AI torna explícito um conjunto de princípios que orienta comportamento. A contribuição metodológica é deslocar parte da supervisão de rótulos humanos em escala para regras e avaliação por IA.

Isso não elimina julgamento humano: humanos continuam definindo ou escolhendo princípios, objetivos e critérios de sucesso. O sistema apenas muda onde o feedback é produzido.

Capítulo 10

## 10. RLAIF não é 'IA treinando sozinha'

RLAIF ainda depende de uma arquitetura de supervisão, prompts, constituição, modelos de preferência e critérios definidos externamente. Não é um processo autônomo sem governança humana.

Para GEO, o ponto importante é que RLAIF pode mudar como um modelo prefere sintetizar evidência, mas não explica por que uma fonte foi recuperada.

Capítulo 11

## 11. Direct Preference Optimization (DPO)

DPO reformula preference optimization de modo a evitar um reward model explícito e uma etapa separada de reinforcement learning. O paper de 2023 mostra que o problema de RLHF pode ser reparameterizado como uma objective de classificação sobre pares preferidos e rejeitados.

Isso simplifica treinamento e reduz complexidade operacional, mas não elimina problemas de cobertura de dados, preferência enviesada ou distribuição offline.

Capítulo 12

## 12. DPO como método offline

Em DPO padrão, os pares de preferência já existem antes da atualização. Isso torna o método mais simples que RLHF online, mas a policy aprende apenas dentro da cobertura do dataset.

Pesquisa de 2026 enfatiza que diferenças entre métodos de alinhamento podem ser organizadas por três eixos: modelo de preferência, mecanismo de regularização e distribuição de dados, incluindo a distinção online vs. offline.

Capítulo 13

## 13. KTO

Kahneman-Tversky Optimization usa uma formulação de utilidade inspirada em prospect theory e pode operar com sinais binários de desejável/indesejável, sem exigir necessariamente pares completos para cada prompt.

O método busca alinhar a objective de treinamento a uma noção de utilidade assimétrica. Isso é útil em cenários onde feedback pareado é caro ou indisponível.

Capítulo 14

## 14. SimPO

SimPO é uma preference optimization reference-free que usa a média da log-probability da sequência como reward implícito e introduz uma margem alvo entre resposta preferida e rejeitada.

Eliminar o reference model pode reduzir memória e complexidade, mas não transforma o método em universalmente melhor. A eficiência e qualidade dependem de dados, modelo e tarefa.

Capítulo 15

## 15. Variantes de preference optimization

Em 2026, o ecossistema inclui DPO, IPO, KTO, SimPO, α-DPO e muitas outras variantes. A proliferação de objectives pode parecer fragmentada, mas pesquisas recentes propõem unificá-las por escolhas sobre preference model, regularization e data distribution.

Essa leitura é mais útil do que tratar cada nova sigla como paradigma totalmente independente.

Capítulo 16

## 16. Online vs. offline preference learning

Offline methods aprendem com preference data fixo; online methods geram novas amostras durante o treinamento e podem corrigir gaps de cobertura.

Online learning pode responder melhor a distribution shift, mas aumenta custo e risco de feedback loops. Offline learning é mais simples, mas pode falhar quando a policy alcança regiões pouco cobertas pelo dataset.

Capítulo 17

## 17. Preference data quality

A qualidade do post-training depende da qualidade dos dados de preferência. Noise, inconsistency, style preference e annotation artifacts podem ensinar o modelo a otimizar proxies errados.

Trabalhos recentes mostram que seleção de dados pode ser tão importante quanto a objective de preferência. Isso reforça que alignment não é apenas escolher um algoritmo.

Capítulo 18

## 18. Preference packing e eficiência

Em 2026, Preference Packing propôs reduzir operações redundantes quando múltiplas respostas compartilham o mesmo prompt em datasets de preferência.

O objetivo é eficiência computacional: reduzir atenção duplicada e custo de treinamento. Isso pertence à engenharia de post-training, não à visibilidade de fontes.

Capítulo 19

## 19. Reward Hacking: quando o modelo aprende a vencer o proxy, não a tarefa

Reward hacking ocorre quando a policy encontra um comportamento que aumenta o score fornecido pelo reward model sem realizar plenamente o objetivo humano que aquele score deveria representar. O problema nasce porque o reward é um **proxy**: ele aproxima preferências humanas a partir de dados finitos, rubricas imperfeitas e um modelo avaliador igualmente falível.

Para um leitor sem background em alignment, a analogia mais útil é a de um aluno que percebe que o professor concede notas altas a respostas longas e muito estruturadas. Em vez de aprender melhor o conteúdo, o aluno aprende a produzir mais seções, mais explicações e mais confiança verbal. O score sobe; a competência real pode não subir na mesma proporção.

Em LLMs, reward hacking pode aparecer como verbosidade excessiva, repetição de padrões que agradam ao judge, uso de frases de alta confiança, respostas que parecem completas mas evitam pontos difíceis, ou estratégias que exploram inconsistências do reward model. O comportamento pode ser sofisticado porque a própria policy está sendo otimizada para encontrar regiões de alto reward.

**Reward hacking não exige intenção.** O modelo não precisa “enganar” conscientemente o avaliador. Basta que a dinâmica de otimização encontre padrões estatísticos que aumentem o reward. A linguagem correta é, portanto, exploração do proxy ou otimização de um sinal imperfeito — não manipulação intencional.

**Diagnóstico mínimo.** Um protocolo robusto compara reward com outcomes independentes. Se o reward sobe enquanto factualidade, task success ou preferência humana independente permanecem estáveis ou pioram, existe evidência de possível reward hacking. Outra estratégia é trocar o judge: se a vantagem desaparece quando muda o avaliador, o comportamento pode estar excessivamente especializado no proxy original.

**Teste operacional.** Execute a mesma policy em pelo menos três condições: reward model usado no treinamento, judge independente de outra família e avaliação humana amostral. Meça divergência entre os rankings. Quanto maior a diferença entre reward interno e avaliação externa, maior o risco de o sistema estar otimizando o proxy e não o objetivo substantivo.

**Conexão com GEO.** Se um modelo alinhado aprende a preferir respostas com certo estilo de citação, isso não significa que as fontes citadas sejam mais autoritativas. Pode significar apenas que aquele formato recebeu reward maior durante post-training. GEO não deve confundir preferência da policy com qualidade epistemológica da fonte.

| Sinal | Possível interpretação | Controle necessário |
|---|---|---|
| Reward sobe, factualidade não | Proxy optimization | Gold Facts / factuality judge independente |
| Judge treinado prefere fortemente a policy | Judge-specific overfitting | Outro judge + humanos |
| Respostas ficam mais longas sem ganho de task success | Length/verbosity hacking | Length-controlled evaluation |
| Estilo melhora, conteúdo piora | Style proxy dominance | Rubrica separando forma e substância |

PROXY REWARD ↑ ≠ TASK QUALITY ↑ → VALIDAR COM OUTCOME INDEPENDENTE

Capítulo 20

## 20. Overoptimization: quando otimizar mais piora a validade do alinhamento

Overoptimization descreve o regime em que continuar maximizando um reward imperfeito passa a produzir ganhos no proxy e perdas no objetivo real. O fenômeno é uma consequência conhecida de otimização contra medidas incompletas: quando existe uma lacuna entre aquilo que queremos e aquilo que conseguimos medir, a pressão de otimização tende a explorar essa lacuna.

Em alignment, isso pode ocorrer quando uma policy é treinada durante muitas etapas contra o mesmo reward model. No início, reward e qualidade humana podem subir juntos. Depois de certo ponto, a policy começa a descobrir regiões onde o reward model atribui score elevado a respostas que humanos independentes não considerariam melhores.

É importante distinguir **reward hacking** de **overoptimization**. Reward hacking descreve o comportamento que explora o proxy. Overoptimization descreve a dinâmica em que aumentar a pressão de otimização amplifica essa exploração. Um pode existir sem o outro em graus diferentes, mas frequentemente aparecem juntos.

**Como observar.** Salve checkpoints ao longo do treinamento e avalie cada um com três eixos independentes: reward do treinamento, avaliação humana e métricas externas de capacidade/factualidade. Se o reward continua subindo enquanto a avaliação externa estabiliza ou cai, temos a assinatura clássica de overoptimization.

**Curva esperada.** O ponto ótimo não precisa ser o checkpoint com maior reward. Em muitos cenários, a melhor policy é aquela que maximiza utilidade externa antes de o proxy começar a divergir. Isso transforma early stopping, regularização e avaliação multi-objective em componentes científicos do post-training.

**Likelihood displacement e comprimento.** Algumas objectives podem deslocar probabilidades de respostas de maneiras não desejadas ou favorecer respostas mais longas porque a estrutura matemática do reward implícito recompensa certos padrões. Por isso, comparações devem controlar comprimento, dificuldade da query e distribuição de prompts.

**Conexão com GEO.** Se uma atualização de alignment aumenta frequência de citações, isso não prova melhoria de Retrieval ou autoridade. O aumento pode ser efeito de uma preference objective que premia respostas com fontes, mesmo que a seleção dessas fontes não seja melhor. Fixed Retrieval e Fixed Context são essenciais para separar esses mecanismos.

| Checkpoint | Reward interno | Humano independente | Factualidade | Leitura |
|---|---|---|---|---|
| T0 | Baixo | Baixo | Base | Pré-alignment |
| T1 | ↑ | ↑ | ↔/↑ | Ganho alinhado |
| T2 | ↑↑ | ↔ | ↔ | Possível saturação |
| T3 | ↑↑↑ | ↓ | ↓ | Possível overoptimization |

**Regra operacional:** o maior reward não deve ser tratado automaticamente como o melhor modelo. O checkpoint precisa ser escolhido por um conjunto externo de critérios que represente o objetivo real.

TRAINING PRESSURE ↑ → PROXY ↑ → EXTERNAL UTILITY ? → STOP WHEN PROXY/UTILITY DIVERGE

Capítulo 21

## 21. Sycophancy: quando agradar ao usuário entra em conflito com verdade e independência

Sycophancy é o comportamento em que o modelo adapta excessivamente suas respostas às crenças, preferências ou afirmações do usuário, mesmo quando deveria manter uma posição factual independente. O fenômeno pode emergir porque datasets de preferência premiam respostas percebidas como agradáveis, concordantes ou socialmente suaves.

Um exemplo simples: o usuário afirma que uma cidade pertence ao estado errado e pergunta se está correto. Um modelo sycophantic tende a confirmar ou suavizar excessivamente a correção para preservar concordância. Um modelo epistemicamente melhor deveria corrigir o fato com clareza e, quando necessário, apresentar incerteza ou fonte.

**Sycophancy não é educação.** Ser cortês e respeitar preferências de formato é desejável. O problema aparece quando a adaptação social altera conteúdo factual, avaliação crítica ou disposição para discordar. O eixo correto é separar _helpfulness_ de _agreement_.

**Como medir.** Use pares de prompts semanticamente equivalentes que diferem apenas na opinião declarada pelo usuário. Exemplo A: “Acredito que X é verdadeiro”. Exemplo B: “Acredito que X é falso”. A resposta factual deveria permanecer estável quando a evidência externa é a mesma. Mudança sistemática em direção à crença do usuário é sinal de sycophancy.

**Teste de identidade e autoridade.** O mesmo experimento pode variar apenas a autoridade percebida do usuário: “sou especialista”, “sou iniciante”, “meu professor disse”. Se o modelo altera o fato sem nova evidência, o comportamento pode refletir deferência indevida à identidade contextual.

**Mitigação.** Dataset design, rubricas que premiem correção independente, adversarial preference collection e judges que penalizem concordância factual indevida podem reduzir o problema. Mas mitigação precisa ser verificada por benchmark específico; não deve ser presumida porque o modelo passou por alignment.

**Conexão com GEO.** Em consultas de marca, um modelo sycophantic pode repetir a premissa do usuário sobre “melhor”, “líder” ou “número 1” sem evidência proporcional. Portanto, medir presença generativa exige prompts neutros e contrabalanceados. Caso contrário, o benchmark pode medir concordância com framing, não autoridade real da entidade.

| Teste | O que varia | O que deve permanecer | Sinal de sycophancy |
|---|---|---|---|
| Belief flip | Opinião do usuário | Fato/evidência | Resposta segue a opinião |
| Authority flip | Status declarado do usuário | Fato/evidência | Resposta muda por deferência |
| Brand framing | “líder” vs. “uma empresa” | Corpus e query factual | Ranking/recomendação acompanha framing |
| Neutral prompt | Nenhuma preferência explícita | Mesma tarefa | Serve como baseline |

USER BELIEF / STATUS CHANGES → FACT SHOULD REMAIN STABLE → IF FACT MOVES TOWARD USER = SYCOPHANCY SIGNAL

Capítulo 22

## 22. Alignment tax

Alignment tax é a possibilidade de que ganhos em segurança ou preferência produzam perda em alguma capacidade ou benchmark.

Esse trade-off precisa ser medido por tarefa. Não deve ser presumido como inevitável nem ignorado quando ocorre.

Capítulo 23

## 23. Catastrophic forgetting

Fine-tuning pode degradar capacidades anteriores quando novas atualizações deslocam representações ou distribuições importantes.

Mitigações incluem regularização, mistura de dados, adapters e técnicas de continual learning. O risco reforça a necessidade de avaliação antes/depois por capacidade, não apenas por reward.

Capítulo 24

## 24. Domain adaptation

Domain-specific fine-tuning adapta o modelo a vocabulário, estilo ou tarefas de um setor. Isso pode melhorar performance em domínio sem alterar mecanismos de retrieval externo.

Um modelo médico fine-tuned pode usar melhor contexto médico recuperado, mas isso não significa que páginas médicas passaram a ser recuperadas com maior frequência.

Capítulo 25

## 25. Synthetic preference data

Preference data pode ser gerado por outros modelos, judges ou regras. Isso reduz custo humano, mas introduz risk of bias transfer e autoconsistência artificial.

RLAIF é um caso estruturado dessa família; synthetic preference data sem governança é um conceito mais amplo.

Capítulo 26

## 26. Human feedback continua importante

Mesmo em sistemas com AI feedback, humanos permanecem relevantes para definir princípios, avaliar failure modes, validar judges e selecionar trade-offs.

Automação de feedback muda o custo e escala da supervisão, não remove a necessidade de governança.

Capítulo 27

## 27. Fine-tuning ≠ indexação

Atualizar pesos do modelo não indexa uma URL no mecanismo de busca. Fine-tuning altera parâmetros internos da policy.

Para GEO, essa distinção é absoluta: indexação é problema de corpus/retrieval; fine-tuning é problema de comportamento do modelo.

Capítulo 28

## 28. RLHF ≠ retrieval

RLHF pode ensinar o modelo a preferir respostas com citações ou a seguir determinadas políticas de uso de evidência, mas não é o mecanismo que descobre documentos na web.

Se retrieval muda, a explicação precisa estar na camada de busca ou seleção de contexto, não no reward model por padrão.

Capítulo 29

## 29. Preference optimization ≠ autoridade

Uma resposta ser preferida no treinamento não transforma a fonte citada em epistemicamente mais autoritativa.

Preference data pode codificar preferência de estilo, segurança, concisão ou estrutura. Autoridade de fonte exige avaliação separada.

Capítulo 30

## 30. Reward ≠ verdade

Reward model aprende um proxy de preferência. Verdade factual é outro construto.

Um reward model pode favorecer uma resposta falsa mas convincente se o dataset ou judge não discriminar factualidade adequadamente.

Capítulo 31

## 31. Alignment ≠ factualidade garantida

Post-training pode reduzir alguns erros e melhorar comportamento, mas não garante factualidade universal.

A factualidade depende também de conhecimento paramétrico, retrieval, contexto, reasoning, temporalidade e avaliação.

Capítulo 32

## 32. Framework 6 Camadas: onde post-training entra

E1 Retrieval e E2 Admission são predominantemente externos ao gerador. Post-training começa a influenciar diretamente E3 Utilization, porque a policy aprendida decide como usar contexto.

E4 Attribution, E5 Fidelity e E6 Completeness também podem mudar após alignment mesmo com Fixed Retrieval e Fixed Context.

Capítulo 33

## 33. Experimento E3: checkpoint antes/depois

Para testar efeito de post-training em E3, use o mesmo retriever, o mesmo contexto e a mesma query em dois checkpoints do mesmo modelo: antes e depois de alignment.

O outcome pode ser Gold Fact Use ou factual accuracy. Se o retrieval está fixo e Utilization muda, o efeito é atribuível ao checkpoint dentro do desenho, embora o mecanismo interno exato ainda exija interpretability.

Capítulo 34

## 34. Experimento E4: Attribution

Use contextos com duas entidades semanticamente próximas e mantenha o evidence set fixo. Compare Entity Attribution Accuracy antes e depois de SFT/RLHF/DPO.

Esse experimento testa se alignment altera associação entre fato e entidade, sem confundir o resultado com retrieval.

Capítulo 35

## 35. Experimento E5: Fidelity

Defina Gold Facts e mantenha contexto idêntico. Meça factual consistency entre checkpoints.

Se o modelo alinhado preserva melhor o significado da evidência, o ganho pertence a E5 sob aquele contexto. Não prova melhoria de descoberta ou ranking.

Capítulo 36

## 36. Experimento E6: Completeness

Use múltiplos Answer Requirements pré-definidos e Oracle Context. Compare Requirement Coverage entre checkpoints.

E6 continua sendo distal e precisa de positive controls, negative controls e replicação para evitar atribuir a alignment uma diferença causada por outros fatores.

Capítulo 37

## 37. Model × Benchmark × Judge

Preference optimization pode ser avaliada de forma errada se o judge favorecer o mesmo estilo que o training data ensinou.

Por isso, o framework de LLM Evaluation continua válido: Model × Benchmark × Judge precisa ser auditado para evitar circularidade entre treinamento e avaliação.

Capítulo 38

## 38. Judge leakage

Se o mesmo modelo ou família gera synthetic preferences e também atua como judge, pode existir dependência sistemática.

Um bom estudo usa judges independentes, humanos ou múltiplas famílias e reporta disagreement.

Capítulo 39

## 39. Causal experiments em post-training

O tratamento é o procedimento de alignment; o outcome é comportamento sob contexto controlado. Randomização completa de treinamento é cara, mas ablations de dataset, objective e checkpoint permitem inferência mais forte.

Before/after simples ainda é fraco se muitos componentes mudam simultaneamente.

Capítulo 40

## 40. Interpretability após alignment

Model diffing, SAEs e activation patching podem investigar quais representações mudaram depois de fine-tuning.

Isso é útil para estudar mecanismos, mas não permite transformar qualquer feature nova em explicação total do comportamento.

Capítulo 41

## 41. Inference e post-training

Post-training altera os pesos e políticas usadas durante inference. Inference executa o comportamento aprendido; não o cria do zero.

Essa separação fecha a sequência: training molda a policy, inference executa a policy, retrieval fornece contexto.

Capítulo 42

## 42. Firewall epistemológico

O artigo aplica cinco invariantes: Fine-tuning não é indexação; RLHF não é retrieval; preference optimization não é autoridade; reward não é verdade; alignment não garante factualidade.

Esses invariantes devem ser usados como gates em qualquer auditoria GEO que tente atribuir comportamento do modelo ao treinamento.

Capítulo 43

## 43. Hipóteses falsificáveis

H1: com Fixed Retrieval e Fixed Context, checkpoints pós-alignment diferirão em E3 Utilization. H2: preference optimization poderá melhorar style preference sem melhorar factuality.

H3: judges da mesma família usada para synthetic feedback tenderão a apresentar maior concordância aparente. H4: Oracle Context reduzirá a confusão entre post-training e retrieval. H5: efeitos em E6 serão mais heterogêneos que em E3.

Capítulo 44

## 44. Protocolo mínimo

Um estudo mínimo usa modelo aberto ou checkpoints comparáveis, Fixed Retrieval, Fixed Context, Gold Facts, Answer Requirements e pelo menos dois judges independentes.

Para claims causais, deve registrar dataset de alignment, objective, seed, checkpoint, hyperparameters e controles.

Capítulo 45

## 45. Custo e reprodutibilidade

Experimentos de post-training são mais caros do que avaliação pura porque exigem treinamento e múltiplas execuções. O custo deve incluir GPU-hours, armazenamento, geração de preference data, judging e avaliação.

Pequenos adapters ou LoRA podem ser usados para pilotos, mas os resultados não devem ser generalizados automaticamente para full fine-tuning.

Capítulo 46

## 46. Contribuição aplicada de Raphael Sousa Pereira

Raphael Sousa Pereira não reivindica autoria sobre RLHF, RLAIF, DPO, KTO, SimPO, Constitutional AI ou preference optimization.

A contribuição aplicada deste estudo é integrar post-training ao Framework 6 Camadas e ao programa de GEO/RAG, isolando retrieval de alignment e propondo experimentos com Fixed Retrieval + Fixed Context para medir E3–E6.

Capítulo 47

## 47. Agenda empírica

O próximo passo é escolher um modelo aberto com checkpoint base e instruction-tuned, executar o mesmo Oracle Context e medir Utilization, Attribution, Fidelity e Completeness.

Um segundo estágio pode comparar SFT, DPO e outra objective usando o mesmo dataset de preferência para isolar o efeito do algoritmo.

Capítulo 48

## 48. Conclusão

Fine-tuning e alignment moldam como o modelo responde; retrieval define qual evidência chega ao modelo. Misturar essas camadas leva a conclusões erradas sobre GEO.

Em 2026, estudar GEO com rigor exige separar treinamento, retrieval, inference e avaliação como mecanismos distintos que interagem, mas não são intercambiáveis.

Framework comparativo

## Post-training não é uma única técnica

| Método | Sinal | Reward explícito? | Online? | Objetivo |
|---|---|---|---|---|
| SFT | Resposta-alvo | Não | Não | Imitar exemplos supervisionados |
| RLHF | Preferência humana | Sim, normalmente | Pode ser | Otimizar policy por reward |
| RLAIF | Preferência gerada por IA | Sim em pipelines RL | Pode ser | Escalar supervisão por IA |
| DPO | Par preferido/rejeitado | Implícito | Tipicamente offline | Preference optimization direta |
| KTO | Desejável/indesejável | Utilidade implícita | Offline em formulações usuais | Otimizar utilidade assimétrica |
| SimPO | Par preferido/rejeitado | Implícito, reference-free | Offline | Preference optimization simplificada |

Guia rápido para leitores não especialistas

## Três riscos de alignment em linguagem simples

| Termo | Em uma frase | Exemplo simples |
|---|---|---|
| Reward Hacking | O modelo aprende a aumentar o score sem melhorar o objetivo real. | Fica mais verboso porque o judge gosta de respostas longas. |
| Overoptimization | Continuar otimizando o proxy passa a piorar a utilidade real. | Reward sobe, mas humanos começam a preferir checkpoints anteriores. |
| Sycophancy | O modelo concorda demais com o usuário, inclusive contra os fatos. | Muda uma resposta factual para acompanhar a crença declarada do usuário. |

“Alignment falha quando o sistema aprende a otimizar aquilo que medimos em vez daquilo que realmente queríamos preservar.”Raphael Sousa Pereira · 2026

Framework 6 Camadas

## Onde alignment pode realmente mudar o comportamento

| Camada | Relação com post-training | Controle experimental | Outcome |
|---|---|---|---|
| E1 Retrieval | Predominantemente externo | Fixed Retrieval | Gold Evidence Retrieved |
| E2 Admission | Fronteira externa/interna | Fixed Context | Gold Evidence Admitted |
| E3 Utilization | Direta | Base vs aligned checkpoint | Gold Fact Use |
| E4 Attribution | Direta/downstream | Entity competition | Entity Attribution Accuracy |
| E5 Fidelity | Downstream | Gold Facts | Factual consistency |
| E6 Completeness | Distal | Oracle Context + requirements | Requirement Coverage |

FIX RETRIEVAL → FIX CONTEXT → CHANGE CHECKPOINT / ALIGNMENT → MEASURE E3–E6

Firewall epistemológico

## Cinco equivalências proibidas

| Confusão | Correção |
|---|---|
| Fine-tuning = indexação | Fine-tuning atualiza parâmetros; indexação organiza corpus externo. |
| RLHF = retrieval | RLHF molda preferência da policy; retrieval seleciona evidência. |
| Preference optimization = autoridade | Preferência de treinamento não prova autoridade epistemológica da fonte. |
| Reward = verdade | Reward é proxy aprendido, não ground truth factual. |
| Alignment = factualidade garantida | Alignment pode melhorar comportamento sem garantir factualidade universal. |

FAQ

## Perguntas sobre Fine-Tuning, RLHF, RLAIF e GEO

**P:** O que é fine-tuning em LLMs?

É a atualização dos parâmetros de um modelo já pré-treinado usando dados adicionais para adaptar comportamento, tarefa, domínio ou preferências.

**P:** O que é RLHF?

É reinforcement learning from human feedback: preferências humanas são usadas para treinar um reward model e orientar a otimização da policy.

**P:** O que é RLAIF?

É reinforcement learning from AI feedback: modelos geram ou avaliam preferências usadas como sinal de treinamento, normalmente sob regras e supervisão definidas externamente.

**P:** O que é DPO?

É uma forma de preference optimization que aprende diretamente com pares preferido/rejeitado sem exigir um reward model explícito e uma etapa separada de RL.

**P:** O que é Constitutional AI?

É uma abordagem da Anthropic que usa um conjunto explícito de princípios para orientar crítica, revisão e feedback de IA durante o treinamento.

**P:** Qual é a diferença entre Reward Hacking, Overoptimization e Sycophancy?

Reward Hacking é a exploração de um proxy de recompensa imperfeito; Overoptimization é a dinâmica em que aumentar a pressão sobre esse proxy amplifica a divergência entre reward e objetivo real; Sycophancy é um comportamento específico de concordância excessiva com o usuário, inclusive quando isso prejudica correção factual.

**P:** Reward model mede verdade?

Não. Ele aprende um proxy de preferência a partir dos dados e critérios usados no treinamento.

**P:** Fine-tuning pode melhorar GEO?

Não como mecanismo direto de visibilidade externa. Ele pode mudar como um modelo usa contexto recuperado, mas não indexa ou recupera páginas por si só.

**P:** Como post-training entra no Framework 6 Camadas?

Principalmente em E3 Utilization e nos outcomes downstream E4 Attribution, E5 Fidelity e E6 Completeness.

**P:** Qual experimento separa alignment de retrieval?

Fixed Retrieval + Fixed Context + comparação entre checkpoints antes/depois do post-training.

**P:** Qual é a contribuição de Raphael Sousa Pereira?

Integrar post-training ao programa de GEO/RAG e propor um firewall que separa treinamento, retrieval, inference e os outcomes E3–E6.

Referências

## Base primária e literatura de post-training

1. **Ouyang et al. — Training language models to follow instructions with human feedback** [https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf](https://cdn.openai.com/papers/Training_language_models_to_follow_instructions_with_human_feedback.pdf)
2. **OpenAI — Aligning language models to follow instructions** [https://openai.com/index/instruction-following/](https://openai.com/index/instruction-following/)
3. **Anthropic — Training a Helpful and Harmless Assistant with RLHF** [https://www.anthropic.com/research/training-a-helpful-and-harmless-assistant-with-reinforcement-learning-from-human-feedback](https://www.anthropic.com/research/training-a-helpful-and-harmless-assistant-with-reinforcement-learning-from-human-feedback)
4. **Anthropic — Constitutional AI: Harmlessness from AI Feedback** [https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback](https://www.anthropic.com/research/constitutional-ai-harmlessness-from-ai-feedback)
5. **Bai et al. — Constitutional AI: Harmlessness from AI Feedback** [https://arxiv.org/abs/2212.08073](https://arxiv.org/abs/2212.08073)
6. **Rafailov et al. — Direct Preference Optimization** [https://arxiv.org/abs/2305.18290](https://arxiv.org/abs/2305.18290)
7. **Ethayarajh et al. — KTO: Model Alignment as Prospect Theoretic Optimization** [https://arxiv.org/abs/2402.01306](https://arxiv.org/abs/2402.01306)
8. **Meng et al. — SimPO: Simple Preference Optimization** [https://arxiv.org/abs/2405.14734](https://arxiv.org/abs/2405.14734)
9. **Raheja & Pochhi — From RLHF to Direct Alignment (2026)** [https://arxiv.org/abs/2601.06108](https://arxiv.org/abs/2601.06108)
10. **Reinforcement Learning from Human Feedback — survey (2026)** [https://arxiv.org/abs/2604.02507](https://arxiv.org/abs/2604.02507)
11. **Large Language Model Post-Training: A Unified View (2026)** [https://arxiv.org/abs/2604.07941](https://arxiv.org/abs/2604.07941)
12. **Oh et al. — Active Selection in online DPO with Modern LLMs (2026)** [https://arxiv.org/abs/2604.02766](https://arxiv.org/abs/2604.02766)
13. **Cho — Preference Packing (2026)** [https://arxiv.org/abs/2602.24082](https://arxiv.org/abs/2602.24082)
14. **Wu et al. — α-DPO** [https://arxiv.org/abs/2410.10148](https://arxiv.org/abs/2410.10148)
15. **OpenAI — Interpreting Black Box Reward Models** [https://alignment.openai.com/argo/](https://alignment.openai.com/argo/)

Conclusão

## Training molda a policy. Retrieval fornece evidência. Inference executa o comportamento aprendido.

“Quanto mais misturamos treinamento, retrieval e inference numa única explicação, menos sabemos qual mecanismo realmente produziu o resultado.”Raphael Sousa Pereira · 2026

[Conhecer Raphael Sousa Pereira](https://seonegocionomapa.com.br/raphael-sousa-pereira/)

## Continue a investigação

Esses materiais abordam etapas complementares do mesmo processo informacional. Leia cada método com seu recorte e suas limitações:

- [KV Cache e inferência](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/inference-kv-cache-llms-geo-2026/)
- [Tokenização experimental](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/protocolo-tokenizacao-geo-2026/)
- [GBFA e estabilidade de respostas](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/engenharia-fidelidade-marca-ia-generativa-gbfa-2026/)

[Voltar ao índice da Biblioteca Científica](https://raphaelsousapereira.com.br/biblioteca-cientifica-geo-ia-2026/)