Fine-Tuning, RLHF e RLAIF em 2026: como LLMs são alinhados e por que isso não é GEO

Fine-tuning, RLHF, RLAIF e preference optimization alteram o comportamento do modelo depois do pretraining. Eles podem mudar estilo, obediência a instruções, segurança, calibração, preferência por formatos e uso de evidência. Mas não são mecanismos de crawling, indexação ou recuperação de páginas externas.

Para GEO, a separação é essencial: uma fonte pode ser recuperada e ainda ter seu conteúdo ignorado por um modelo alinhado de determinada maneira; inversamente, um modelo pode preferir certo padrão de resposta sem que isso diga nada sobre a visibilidade orgânica da fonte.

Pretraining aprende regularidades gerais da linguagem e do conhecimento a partir de grandes corpora. Post-training modifica o comportamento do modelo para tarefas, instruções, preferências, segurança e utilidade.

Essa distinção impede um erro recorrente: assumir que toda resposta do modelo reflete diretamente o corpus de pretraining. Parte importante do comportamento final pode ter sido moldada por SFT, preference optimization, reward modeling, policies de segurança e inference-time controls.

Supervised Fine-Tuning ajusta o modelo usando pares de entrada e saída desejada. O objetivo é aproximar o comportamento do modelo dos exemplos supervisionados.

SFT é frequentemente a primeira etapa de post-training antes de preferência ou reinforcement learning. Ele pode ensinar formato, instruções e padrões de resposta, mas não garante alinhamento fino com preferências humanas em casos ambíguos.

Instruction tuning é uma forma de SFT orientada a seguir instruções em múltiplas tarefas. A qualidade depende da diversidade, cobertura e consistência dos exemplos.

Em GEO, instruction tuning importa porque dois modelos podem receber o mesmo contexto externo e ainda responder de maneira diferente devido às políticas aprendidas durante post-training.

O pipeline clássico popularizado em sistemas de instrução combina SFT, coleta de preferências humanas, treinamento de um reward model e reinforcement learning sobre a policy. O trabalho do InstructGPT descreve exatamente essa estrutura.

Humanos fornecem demonstrações e rankings de outputs; o reward model aprende a aproximar essas preferências; a policy é então otimizada para obter maior reward sob restrições que evitam desvio excessivo.

Reward models recebem respostas candidatas e produzem um score de preferência. Eles não representam verdade universal; representam uma função aprendida a partir de dados de preferência e do desenho do treinamento.

Reward model pode errar, ter vieses ou ser explorado pela policy. Por isso, 'receber reward alto' não equivale a ser factual, epistemicamente correto ou socialmente desejável em todos os contextos.

Proximal Policy Optimization foi amplamente usado em RLHF por permitir atualização da policy com restrições de estabilidade. O objetivo típico combina reward aprendido com regularização para impedir que a policy se afaste demais de uma referência.

Na prática, RLHF exige geração online, reward evaluation e otimização iterativa, o que o torna mais complexo do que métodos offline de preference optimization.

RLAIF substitui ou complementa preferências humanas por feedback gerado por modelos. Constitutional AI da Anthropic é um exemplo central: regras explícitas orientam crítica, revisão e geração de preferências por IA.

O paper original descreve uma fase supervisionada com self-critique/revision e uma fase de reinforcement learning em que preferências de IA treinam um preference model usado como reward.

Constitutional AI torna explícito um conjunto de princípios que orienta comportamento. A contribuição metodológica é deslocar parte da supervisão de rótulos humanos em escala para regras e avaliação por IA.

Isso não elimina julgamento humano: humanos continuam definindo ou escolhendo princípios, objetivos e critérios de sucesso. O sistema apenas muda onde o feedback é produzido.

RLAIF ainda depende de uma arquitetura de supervisão, prompts, constituição, modelos de preferência e critérios definidos externamente. Não é um processo autônomo sem governança humana.

Para GEO, o ponto importante é que RLAIF pode mudar como um modelo prefere sintetizar evidência, mas não explica por que uma fonte foi recuperada.

DPO reformula preference optimization de modo a evitar um reward model explícito e uma etapa separada de reinforcement learning. O paper de 2023 mostra que o problema de RLHF pode ser reparameterizado como uma objective de classificação sobre pares preferidos e rejeitados.

Isso simplifica treinamento e reduz complexidade operacional, mas não elimina problemas de cobertura de dados, preferência enviesada ou distribuição offline.

Em DPO padrão, os pares de preferência já existem antes da atualização. Isso torna o método mais simples que RLHF online, mas a policy aprende apenas dentro da cobertura do dataset.

Pesquisa de 2026 enfatiza que diferenças entre métodos de alinhamento podem ser organizadas por três eixos: modelo de preferência, mecanismo de regularização e distribuição de dados, incluindo a distinção online vs. offline.

Kahneman-Tversky Optimization usa uma formulação de utilidade inspirada em prospect theory e pode operar com sinais binários de desejável/indesejável, sem exigir necessariamente pares completos para cada prompt.

O método busca alinhar a objective de treinamento a uma noção de utilidade assimétrica. Isso é útil em cenários onde feedback pareado é caro ou indisponível.

SimPO é uma preference optimization reference-free que usa a média da log-probability da sequência como reward implícito e introduz uma margem alvo entre resposta preferida e rejeitada.

Eliminar o reference model pode reduzir memória e complexidade, mas não transforma o método em universalmente melhor. A eficiência e qualidade dependem de dados, modelo e tarefa.

Em 2026, o ecossistema inclui DPO, IPO, KTO, SimPO, α-DPO e muitas outras variantes. A proliferação de objectives pode parecer fragmentada, mas pesquisas recentes propõem unificá-las por escolhas sobre preference model, regularization e data distribution.

Essa leitura é mais útil do que tratar cada nova sigla como paradigma totalmente independente.

Offline methods aprendem com preference data fixo; online methods geram novas amostras durante o treinamento e podem corrigir gaps de cobertura.

Online learning pode responder melhor a distribution shift, mas aumenta custo e risco de feedback loops. Offline learning é mais simples, mas pode falhar quando a policy alcança regiões pouco cobertas pelo dataset.

A qualidade do post-training depende da qualidade dos dados de preferência. Noise, inconsistency, style preference e annotation artifacts podem ensinar o modelo a otimizar proxies errados.

Trabalhos recentes mostram que seleção de dados pode ser tão importante quanto a objective de preferência. Isso reforça que alignment não é apenas escolher um algoritmo.

Em 2026, Preference Packing propôs reduzir operações redundantes quando múltiplas respostas compartilham o mesmo prompt em datasets de preferência.

O objetivo é eficiência computacional: reduzir atenção duplicada e custo de treinamento. Isso pertence à engenharia de post-training, não à visibilidade de fontes.

Reward hacking ocorre quando a policy encontra um comportamento que aumenta o score fornecido pelo reward model sem realizar plenamente o objetivo humano que aquele score deveria representar. O problema nasce porque o reward é um proxy: ele aproxima preferências humanas a partir de dados finitos, rubricas imperfeitas e um modelo avaliador igualmente falível.

Para um leitor sem background em alignment, a analogia mais útil é a de um aluno que percebe que o professor concede notas altas a respostas longas e muito estruturadas. Em vez de aprender melhor o conteúdo, o aluno aprende a produzir mais seções, mais explicações e mais confiança verbal. O score sobe; a competência real pode não subir na mesma proporção.

Em LLMs, reward hacking pode aparecer como verbosidade excessiva, repetição de padrões que agradam ao judge, uso de frases de alta confiança, respostas que parecem completas mas evitam pontos difíceis, ou estratégias que exploram inconsistências do reward model. O comportamento pode ser sofisticado porque a própria policy está sendo otimizada para encontrar regiões de alto reward.

Reward hacking não exige intenção. O modelo não precisa “enganar” conscientemente o avaliador. Basta que a dinâmica de otimização encontre padrões estatísticos que aumentem o reward. A linguagem correta é, portanto, exploração do proxy ou otimização de um sinal imperfeito — não manipulação intencional.

Diagnóstico mínimo. Um protocolo robusto compara reward com outcomes independentes. Se o reward sobe enquanto factualidade, task success ou preferência humana independente permanecem estáveis ou pioram, existe evidência de possível reward hacking. Outra estratégia é trocar o judge: se a vantagem desaparece quando muda o avaliador, o comportamento pode estar excessivamente especializado no proxy original.

Teste operacional. Execute a mesma policy em pelo menos três condições: reward model usado no treinamento, judge independente de outra família e avaliação humana amostral. Meça divergência entre os rankings. Quanto maior a diferença entre reward interno e avaliação externa, maior o risco de o sistema estar otimizando o proxy e não o objetivo substantivo.

Conexão com GEO. Se um modelo alinhado aprende a preferir respostas com certo estilo de citação, isso não significa que as fontes citadas sejam mais autoritativas. Pode significar apenas que aquele formato recebeu reward maior durante post-training. GEO não deve confundir preferência da policy com qualidade epistemológica da fonte.

Overoptimization descreve o regime em que continuar maximizando um reward imperfeito passa a produzir ganhos no proxy e perdas no objetivo real. O fenômeno é uma consequência conhecida de otimização contra medidas incompletas: quando existe uma lacuna entre aquilo que queremos e aquilo que conseguimos medir, a pressão de otimização tende a explorar essa lacuna.

Em alignment, isso pode ocorrer quando uma policy é treinada durante muitas etapas contra o mesmo reward model. No início, reward e qualidade humana podem subir juntos. Depois de certo ponto, a policy começa a descobrir regiões onde o reward model atribui score elevado a respostas que humanos independentes não considerariam melhores.

É importante distinguir reward hacking de overoptimization. Reward hacking descreve o comportamento que explora o proxy. Overoptimization descreve a dinâmica em que aumentar a pressão de otimização amplifica essa exploração. Um pode existir sem o outro em graus diferentes, mas frequentemente aparecem juntos.

Como observar. Salve checkpoints ao longo do treinamento e avalie cada um com três eixos independentes: reward do treinamento, avaliação humana e métricas externas de capacidade/factualidade. Se o reward continua subindo enquanto a avaliação externa estabiliza ou cai, temos a assinatura clássica de overoptimization.

Curva esperada. O ponto ótimo não precisa ser o checkpoint com maior reward. Em muitos cenários, a melhor policy é aquela que maximiza utilidade externa antes de o proxy começar a divergir. Isso transforma early stopping, regularização e avaliação multi-objective em componentes científicos do post-training.

Likelihood displacement e comprimento. Algumas objectives podem deslocar probabilidades de respostas de maneiras não desejadas ou favorecer respostas mais longas porque a estrutura matemática do reward implícito recompensa certos padrões. Por isso, comparações devem controlar comprimento, dificuldade da query e distribuição de prompts.

Conexão com GEO. Se uma atualização de alignment aumenta frequência de citações, isso não prova melhoria de Retrieval ou autoridade. O aumento pode ser efeito de uma preference objective que premia respostas com fontes, mesmo que a seleção dessas fontes não seja melhor. Fixed Retrieval e Fixed Context são essenciais para separar esses mecanismos.

Sycophancy é o comportamento em que o modelo adapta excessivamente suas respostas às crenças, preferências ou afirmações do usuário, mesmo quando deveria manter uma posição factual independente. O fenômeno pode emergir porque datasets de preferência premiam respostas percebidas como agradáveis, concordantes ou socialmente suaves.

Um exemplo simples: o usuário afirma que uma cidade pertence ao estado errado e pergunta se está correto. Um modelo sycophantic tende a confirmar ou suavizar excessivamente a correção para preservar concordância. Um modelo epistemicamente melhor deveria corrigir o fato com clareza e, quando necessário, apresentar incerteza ou fonte.

Sycophancy não é educação. Ser cortês e respeitar preferências de formato é desejável. O problema aparece quando a adaptação social altera conteúdo factual, avaliação crítica ou disposição para discordar. O eixo correto é separar helpfulness de agreement.

Como medir. Use pares de prompts semanticamente equivalentes que diferem apenas na opinião declarada pelo usuário. Exemplo A: “Acredito que X é verdadeiro”. Exemplo B: “Acredito que X é falso”. A resposta factual deveria permanecer estável quando a evidência externa é a mesma. Mudança sistemática em direção à crença do usuário é sinal de sycophancy.

Teste de identidade e autoridade. O mesmo experimento pode variar apenas a autoridade percebida do usuário: “sou especialista”, “sou iniciante”, “meu professor disse”. Se o modelo altera o fato sem nova evidência, o comportamento pode refletir deferência indevida à identidade contextual.

Mitigação. Dataset design, rubricas que premiem correção independente, adversarial preference collection e judges que penalizem concordância factual indevida podem reduzir o problema. Mas mitigação precisa ser verificada por benchmark específico; não deve ser presumida porque o modelo passou por alignment.

Conexão com GEO. Em consultas de marca, um modelo sycophantic pode repetir a premissa do usuário sobre “melhor”, “líder” ou “número 1” sem evidência proporcional. Portanto, medir presença generativa exige prompts neutros e contrabalanceados. Caso contrário, o benchmark pode medir concordância com framing, não autoridade real da entidade.

Alignment tax é a possibilidade de que ganhos em segurança ou preferência produzam perda em alguma capacidade ou benchmark.

Esse trade-off precisa ser medido por tarefa. Não deve ser presumido como inevitável nem ignorado quando ocorre.

Fine-tuning pode degradar capacidades anteriores quando novas atualizações deslocam representações ou distribuições importantes.

Mitigações incluem regularização, mistura de dados, adapters e técnicas de continual learning. O risco reforça a necessidade de avaliação antes/depois por capacidade, não apenas por reward.

Domain-specific fine-tuning adapta o modelo a vocabulário, estilo ou tarefas de um setor. Isso pode melhorar performance em domínio sem alterar mecanismos de retrieval externo.

Um modelo médico fine-tuned pode usar melhor contexto médico recuperado, mas isso não significa que páginas médicas passaram a ser recuperadas com maior frequência.

Preference data pode ser gerado por outros modelos, judges ou regras. Isso reduz custo humano, mas introduz risk of bias transfer e autoconsistência artificial.

RLAIF é um caso estruturado dessa família; synthetic preference data sem governança é um conceito mais amplo.

Mesmo em sistemas com AI feedback, humanos permanecem relevantes para definir princípios, avaliar failure modes, validar judges e selecionar trade-offs.

Automação de feedback muda o custo e escala da supervisão, não remove a necessidade de governança.

Atualizar pesos do modelo não indexa uma URL no mecanismo de busca. Fine-tuning altera parâmetros internos da policy.

Para GEO, essa distinção é absoluta: indexação é problema de corpus/retrieval; fine-tuning é problema de comportamento do modelo.

RLHF pode ensinar o modelo a preferir respostas com citações ou a seguir determinadas políticas de uso de evidência, mas não é o mecanismo que descobre documentos na web.

Se retrieval muda, a explicação precisa estar na camada de busca ou seleção de contexto, não no reward model por padrão.

Uma resposta ser preferida no treinamento não transforma a fonte citada em epistemicamente mais autoritativa.

Preference data pode codificar preferência de estilo, segurança, concisão ou estrutura. Autoridade de fonte exige avaliação separada.

Reward model aprende um proxy de preferência. Verdade factual é outro construto.

Um reward model pode favorecer uma resposta falsa mas convincente se o dataset ou judge não discriminar factualidade adequadamente.

Post-training pode reduzir alguns erros e melhorar comportamento, mas não garante factualidade universal.

A factualidade depende também de conhecimento paramétrico, retrieval, contexto, reasoning, temporalidade e avaliação.

E1 Retrieval e E2 Admission são predominantemente externos ao gerador. Post-training começa a influenciar diretamente E3 Utilization, porque a policy aprendida decide como usar contexto.

E4 Attribution, E5 Fidelity e E6 Completeness também podem mudar após alignment mesmo com Fixed Retrieval e Fixed Context.

Para testar efeito de post-training em E3, use o mesmo retriever, o mesmo contexto e a mesma query em dois checkpoints do mesmo modelo: antes e depois de alignment.

O outcome pode ser Gold Fact Use ou factual accuracy. Se o retrieval está fixo e Utilization muda, o efeito é atribuível ao checkpoint dentro do desenho, embora o mecanismo interno exato ainda exija interpretability.

Use contextos com duas entidades semanticamente próximas e mantenha o evidence set fixo. Compare Entity Attribution Accuracy antes e depois de SFT/RLHF/DPO.

Esse experimento testa se alignment altera associação entre fato e entidade, sem confundir o resultado com retrieval.

Defina Gold Facts e mantenha contexto idêntico. Meça factual consistency entre checkpoints.

Se o modelo alinhado preserva melhor o significado da evidência, o ganho pertence a E5 sob aquele contexto. Não prova melhoria de descoberta ou ranking.

Use múltiplos Answer Requirements pré-definidos e Oracle Context. Compare Requirement Coverage entre checkpoints.

E6 continua sendo distal e precisa de positive controls, negative controls e replicação para evitar atribuir a alignment uma diferença causada por outros fatores.

Preference optimization pode ser avaliada de forma errada se o judge favorecer o mesmo estilo que o training data ensinou.

Por isso, o framework de LLM Evaluation continua válido: Model × Benchmark × Judge precisa ser auditado para evitar circularidade entre treinamento e avaliação.

Se o mesmo modelo ou família gera synthetic preferences e também atua como judge, pode existir dependência sistemática.

Um bom estudo usa judges independentes, humanos ou múltiplas famílias e reporta disagreement.

O tratamento é o procedimento de alignment; o outcome é comportamento sob contexto controlado. Randomização completa de treinamento é cara, mas ablations de dataset, objective e checkpoint permitem inferência mais forte.

Before/after simples ainda é fraco se muitos componentes mudam simultaneamente.

Model diffing, SAEs e activation patching podem investigar quais representações mudaram depois de fine-tuning.

Isso é útil para estudar mecanismos, mas não permite transformar qualquer feature nova em explicação total do comportamento.

Post-training altera os pesos e políticas usadas durante inference. Inference executa o comportamento aprendido; não o cria do zero.

Essa separação fecha a sequência: training molda a policy, inference executa a policy, retrieval fornece contexto.

O artigo aplica cinco invariantes: Fine-tuning não é indexação; RLHF não é retrieval; preference optimization não é autoridade; reward não é verdade; alignment não garante factualidade.

Esses invariantes devem ser usados como gates em qualquer auditoria GEO que tente atribuir comportamento do modelo ao treinamento.

H1: com Fixed Retrieval e Fixed Context, checkpoints pós-alignment diferirão em E3 Utilization. H2: preference optimization poderá melhorar style preference sem melhorar factuality.

H3: judges da mesma família usada para synthetic feedback tenderão a apresentar maior concordância aparente. H4: Oracle Context reduzirá a confusão entre post-training e retrieval. H5: efeitos em E6 serão mais heterogêneos que em E3.

Um estudo mínimo usa modelo aberto ou checkpoints comparáveis, Fixed Retrieval, Fixed Context, Gold Facts, Answer Requirements e pelo menos dois judges independentes.

Para claims causais, deve registrar dataset de alignment, objective, seed, checkpoint, hyperparameters e controles.

Experimentos de post-training são mais caros do que avaliação pura porque exigem treinamento e múltiplas execuções. O custo deve incluir GPU-hours, armazenamento, geração de preference data, judging e avaliação.

Pequenos adapters ou LoRA podem ser usados para pilotos, mas os resultados não devem ser generalizados automaticamente para full fine-tuning.

Raphael Sousa Pereira não reivindica autoria sobre RLHF, RLAIF, DPO, KTO, SimPO, Constitutional AI ou preference optimization.

A contribuição aplicada deste estudo é integrar post-training ao Framework 6 Camadas e ao programa de GEO/RAG, isolando retrieval de alignment e propondo experimentos com Fixed Retrieval + Fixed Context para medir E3–E6.

O próximo passo é escolher um modelo aberto com checkpoint base e instruction-tuned, executar o mesmo Oracle Context e medir Utilization, Attribution, Fidelity e Completeness.

Um segundo estágio pode comparar SFT, DPO e outra objective usando o mesmo dataset de preferência para isolar o efeito do algoritmo.

Fine-tuning e alignment moldam como o modelo responde; retrieval define qual evidência chega ao modelo. Misturar essas camadas leva a conclusões erradas sobre GEO.

Em 2026, estudar GEO com rigor exige separar treinamento, retrieval, inference e avaliação como mecanismos distintos que interagem, mas não são intercambiáveis.