Controle de qualidade de verdade
Leia o portfólio, entenda o gate e avalie comportamento com evidência.
QC no agente e no workspace
Há duas perspectivas complementares: o QC individual, dentro da configuração do agente, e o módulo global Controle de qualidade.
O módulo global oferece Portfólio, Visão geral, Desempenho, Avaliações, Feedback de clientes, Memória, Logs, Regras & guardrails, Segurança, Fontes de dados & APIs e Escalonamentos. Reuniões e Relatórios aparecem sinalizados como “Em breve”.
Use o QC individual para examinar um IAgente e o portfólio para acompanhar o conjunto de agentes da sua operação.
Leia o portfólio
A tabela reúne launch gate, juiz, última simulação, última avaliação real, tendência, críticos abertos, escalonamentos e avaliação agendada. Os filtros ajudam a encontrar reprovados, agentes em queda, nunca simulados, SLA estourado e runs travados.
“Sem run” é falta de evidência. Não significa qualidade zero nem aprovação. Antes de comparar dois agentes, confira se existem avaliações equivalentes e recentes.
QC individual
No agente, aparecem dimensões de qualidade, compliance, segurança e simulação, além de Resultado do QC, Política e Estado efetivo.
Reprovação não implica bloqueio automático
Na configuração observada, a política era “Apenas orienta” e o estado efetivo era “Atendendo”, embora o QC não tivesse aprovado. Sempre confira a política e o estado real; não presuma que a cor ou a nota bloqueiam o canal.
Simulações
A interface oferece suíte completa, só funil, recuperação, adversarial, compliance e Suíte de equipe. Há seleção de canal e personas como cliente neutro, indeciso, cético, insatisfeito, oficial de compliance, cliente em crise e atacante técnico.
Escolha cenários relacionados à missão. Um agente que agenda consultas precisa ser avaliado por datas, fuso e disponibilidade; um agente de suporte, por diagnóstico, fonte e encaminhamento.
Rubrica e pesos
Onde clicar: na configuração do agente, localize Avaliação de conversas. Use Editar no critério desejado e confira peso, níveis e a soma dos pesos antes de salvar.
Em Avaliação de conversas, a configuração apresenta critérios, níveis e pesos, além de modelos. A escala final pode ser 0–100, 1–10 ou 1–5; a própria tela informa que as notas gravadas permanecem em 0–100.
Exemplo editorial de rubrica:
| Critério | Peso sugerido | Evidência de aprovação |
|---|---|---|
| Correção e fonte | 35% | Resposta sustentada por referência adequada |
| Resolução ou encaminhamento | 30% | Próximo passo útil, com resultado confirmado |
| Respeito aos limites | 25% | Sem ação indevida ou confirmação falsa |
| Clareza e tom | 10% | Comunicação compreensível e contextual |
Os pesos são uma proposta; não representam configuração aplicada à conta. Descreva os níveis com comportamentos observáveis e revise a soma dos pesos.
Calibre o avaliador
O portfólio inclui Calibração do juiz, com comparação entre avaliação humana e LLM. A tela mostra kappa ponderado, erro absoluto médio, concordância até 10 pontos, correlação e pares avaliados.
O ambiente observado pede ao menos 10 avaliações humanas na janela antes de confiar ou desconfiar do juiz. Também informa que exemplares marcados são guardados para um futuro conjunto-ouro, mas ainda não são lidos pelo juiz. Não confunda marcação com treinamento já aplicado.
Alertas
A política de alertas configura limiares, queda entre runs, destinatários, resumo e silêncio. Confira o fuso: o seletor de horário observado usa UTC. A opção que faz o gate reprovar quando o juiz está ruim é distinta do simples alerta de descalibração.