Como configurar o robots.txt para robôs de IA?
Publicado em · Atualizado em
Robôs, robots.txt e llms.txt · Perguntas sobre GEO
Crie um bloco por user-agent com a regra desejada, por exemplo liberando OAI-SearchBot, Claude-SearchBot e PerplexityBot e decidindo à parte sobre GPTBot, ClaudeBot e o token Google-Extended. Depois confira se não há regra genérica que anule as específicas.
Em detalhes
O robots.txt só funciona se o servidor deixar o robô chegar: firewalls, CDNs e proteções contra bots podem devolver 403 mesmo com Allow. Teste nos logs. Lembre também que o robots.txt é um pedido, não uma trava: conteúdo privado precisa de autenticação.
Base desta resposta
- GEO Técnico: a Camada Fundacional do GEO
- Perguntas Frequentes sobre llms.txt, SEO e GEO em 2026
- Glossário de SEO, GEO e IA: 466 termos
Quem responde
Resposta de Raphael Sousa Pereira, fundador da GEO AI CITATIONS, plataforma de GEO de ponta a ponta (diagnóstico, auditoria, execução e monitoramento da presença de marcas nas IAs, com o método PANDORA), e da Negócio no Mapa, em Porto Alegre. Escrita a partir dos estudos e guias publicados por ele, com fonte e data; revisada em 3 de novembro de 2026.
- GEO AI CITATIONS: a plataforma de GEO de ponta a ponta
- Quem é Raphael Sousa Pereira
- Trabalhos publicados com DOI
Perguntas relacionadas
- O que é um robô de IA (AI crawler)?
- Qual a diferença entre GPTBot, OAI-SearchBot e ChatGPT-User?
- Bloquear o GPTBot tira meu site da busca do ChatGPT?
- Devo bloquear ou permitir os robôs de IA?
- Os LLMs respeitam o robots.txt?
Quer saber como a sua marca aparece nas IAs?
A GEO AI CITATIONS faz o diagnóstico gratuito (Pandora Scan) e cuida do resto de ponta a ponta: auditoria, execução e monitoramento da presença da sua marca no ChatGPT, Google AI, Gemini, Claude e Perplexity.