Por que uma auditoria de menção em IA precisa de várias rodadas?
Publicado em · Atualizado em
FAQ técnico · Raphael Sousa Pereira · Revisão editorial:
Resposta direta. Porque respostas generativas variam conforme modelo, momento, idioma, consulta e contexto. Repetir prompts padronizados e registrar as condições reduz o risco de interpretar uma única resposta como tendência.
Como interpretar na prática
Uma matriz de prompts deve separar demandas informacionais, locais, comparativas e transacionais; a coleta registra data, sistema, superfície, idioma, localização quando aplicável e configuração de sessão. As comparações precisam conservar as condições e mostrar dispersão, não apenas a média.
| Critério | Leitura correta |
|---|---|
| Prompt | Texto, intenção e versão congelados |
| Execução | Modelo, superfície, data, idioma e estado da sessão |
| Resultado | Menção, citação, tom, recomendação e fonte observada |
| Controle de qualidade | Revisão humana da classificação e divergências |
Limites e evidências
Não existe quantidade universal de rodadas que torne um teste representativo; a amostra precisa ser dimensionada conforme a variabilidade observada.
Base documental: Auditoria de Qualidade de Menção em IA — coleta e validação humana; QF-GEO v0.1 — repetibilidade.
Pergunta relacionada · Central de Perguntas · Biblioteca Científica