Perfil profissional · 2027 · Search Engineer, Search Researcher e o topo da pirâmide
SEARCH ENGINEER VS. SEARCH RESEARCHER: o mapa de competências de 2027
Search Engineer constrói, investiga e otimiza sistemas de busca. Search Researcher tenta entender, modelar e descobrir como esses sistemas funcionam. O profissional realmente diferenciado em 2027 atua nos dois lados.
De “sei fazer auditoria de SEO” a “consigo formular e testar uma hipótese sozinho”
A competência máxima não é dominar uma ferramenta — é construir seu próprio laboratório de Search: crawler, SERP sampling, logs, extração de features, análise estatística, embeddings, motor de experimentação e dashboard, tudo conversando entre si.
Sou Raphael Sousa Pereira, especialista em SEO, Generative Engine Optimization (GEO), inteligência artificial e engenharia de prompt. Organizei aqui o mapa completo de 21 competências que separam um SEO Specialist de um Search Scientist.
Qual a diferença entre Search Engineer e Search Researcher?
Search Engineer é o profissional que constrói, investiga e otimiza sistemas de busca — foco em engenharia e implementação. Search Researcher é o profissional que tenta entender, modelar e descobrir como esses sistemas funcionam — foco em hipótese, experimento e inferência causal. Os dois papéis se sobrepõem mas não são idênticos: o perfil mais diferenciado para 2027 combina Information Retrieval, Machine Learning aplicado a busca, LLMs e busca generativa, arquitetura de motores de busca, web crawling, engenharia de dados, reverse engineering, estatística e Knowledge Graph — culminando no perfil de topo, o Search Scientist / Research Engineer, que combina IR, ML, estatística, experimentação e engenharia de pesquisa num único profissional.
A pirâmide de carreira
As 21 competências
Information Retrieval — Núcleo
- Inverted index, tokenização, normalização
- BM25, TF-IDF, query expansion, query rewriting
- Candidate generation, retrieval, re-ranking, Learning to Rank
- Dense/sparse/hybrid/semantic/vector search, ANN
- Recall, Precision, NDCG, MRR, MAP
Machine Learning Aplicado a Search
- Supervised/unsupervised learning, ranking models
- Gradient Boosting, XGBoost/LightGBM, neural ranking
- Cross-encoders, bi-encoders, Transformers, fine-tuning
- Embeddings, similarity search, clustering, evaluation datasets
LLM / Generative Search
- Attention, context windows, RAG, retrieval pipelines
- Vector databases, reranking, agentic search, tool calling, MCP
- LLM evaluation, hallucination detection, citation retrieval, grounding
Search Engine Architecture
- Query understanding e query rewriting
- Candidate retrieval: lexical, semantic, entity, freshness
- Candidate pool → re-ranking → quality systems → SERP/Answer
Web Crawling
- Crawlers distribuídos, URL discovery, URL frontier
- Crawl scheduling, politeness, robots.txt, sitemaps
- Rendering, JavaScript, headless browsers, crawl budget
- Construir seu próprio crawler
Engenharia de Dados
- Python, SQL, Pandas/Polars, Spark, DuckDB, BigQuery
- Data pipelines, ETL/ELT, data warehouses, APIs
- De 10 mil URLs para 10 milhões
Programação
- Python e SQL — obrigatório
- JavaScript/TypeScript — muito importante
- Bash — importante · Go — diferencial · Java — útil em sistemas distribuídos
Reverse Engineering
- Black-box testing, controlled experiments, differential testing
- A/B testing, causal inference, hypothesis testing
- Modelo mental: hipótese → experimento → dados → análise → nova hipótese
Estatística
- Probability, distributions, sampling, confidence intervals
- Regression, correlation, causal inference, Bayesian statistics
- Correlação ≠ causalidade — a competência mais subestimada no SEO
Knowledge Graph
- Entities, entity resolution, entity linking
- RDF, triples, ontologies, graph databases
- Schema.org, Wikidata, knowledge panels
Search Observability
- SERP → crawler → parser → database → feature extraction → model → dashboard
- Monitorar ranking, volatility, indexação, crawling, rendering
- Uma competência rara
SERP Engineering
- Composição da SERP, intenção, features, PAA
- Shopping, local, notícias, AI Overviews, respostas generativas
- Transformar tudo isso em dado estruturado
Experimentação em Search
- Grupo A (100 páginas) vs. Grupo B (100 páginas), 1 variável alterada
- Medir crawl, indexação, impressions, clicks, ranking, CTR
- Determinar se o efeito é real
Engenharia de Sistemas
- Linux, Docker, Git, CI/CD, Kubernetes
- AWS/GCP/Azure, filas, sistemas distribuídos, caching, CDN
- Entender como as peças conversam entre si
Technical SEO Profundo
- HTTP, DNS, TLS, CDN, caching, robots, canonical, hreflang
- Rendering JS, hydration, SSR, CSR, SSG, Core Web Vitals
- Server logs, crawl budget, indexação, migrações
Engenharia de Agentes
- Agent → Search → Crawler → Parser → Database → LLM → Reasoning → Action
- Agentes que investigam SERPs, rastreiam sites, analisam logs
- Geram hipóteses e executam testes sozinhos
Search + AI Evaluation
- Query → Retrieval → LLM → Answer
- Relevance, factuality, citation accuracy, groundedness, completeness
- Construir seus próprios datasets de avaliação
Segurança e Anti-Abuso
- Spam, bot detection, cloaking, scraping, adversarial SEO
- Prompt injection, data poisoning, conteúdo malicioso
- Superfície de ataque cresce com Search + LLM
Pesquisa Científica
- Ler e reproduzir papers, formular hipóteses, construir datasets
- Avaliar metodologia, identificar vieses, reproduzir resultados
- arXiv, papers de IR, NLP, ranking, recommender systems
Comunicação Técnica
- Problema → hipótese → dados → método → resultado → limitação → conclusão
- Sem transformar uma correlação em “fator de ranking”
Construir seu Próprio Laboratório
- Crawler + SERP + Logs → Database → Feature Extraction
- Statistical Analysis → ML/Embeddings → Experiment Engine → Dashboard
- Formular uma hipótese sobre Search e testá-la sozinho
A vaga extremamente exigente
Obrigatório
- Python, SQL, HTTP
- Web crawling, Information Retrieval
- Search architecture, estatística
- Machine Learning, embeddings, LLMs
- JavaScript, APIs, data engineering
- Experimentação, Technical SEO, log analysis
Avançado
- Distributed systems, knowledge graphs
- Vector databases, RAG
- Learning-to-Rank, neural retrieval
- Causal inference, SERP experimentation
- Search observability, reverse engineering
Diferencial extremamente raro
- Construir crawler distribuído e índice próprio
- Implementar BM25 e vector search do zero
- Criar dataset de SERPs, reproduzir paper de IR
- Criar experimento causal, analisar milhões de logs
- Construir agente de Search e sistema de avaliação de LLM
- Descobrir comportamento de um motor de busca sem acesso ao código
O profissional de 2027 precisa entender por que um modelo escolheu A em vez de B — não apenas chamar uma API de IA.