Como testar o Jev: confiança, erros e revisão humana

Defina a decisão e o prejuízo de errar

Comece escrevendo uma frase operacional: identificar qual equipe deve receber uma solicitação de suporte. Defina as categorias aceitas, as situações que exigem confirmação e quem pode corrigir o encaminhamento. A avaliação fica mais útil quando todos conseguem reconhecer uma decisão correta.

Separe também as consequências. Mostrar uma categoria provisória ao atendente é diferente de cancelar um pedido ou alterar um cadastro. No piloto proposto aqui, o Jev sugere a classificação; permissões, validações e execução continuam sob controle do sistema. A equipe decide antecipadamente quais ações podem avançar automaticamente.

Registre a referência atual: como as solicitações são distribuídas, quais erros acontecem e quanto tempo a triagem consome. Compare depois o fluxo completo, incluindo revisão e correção. Todos os números a seguir são exemplos inventados para explicar o método; não representam testes executados pela Genial nem desempenho observado do Jev.

Confidence, probabilidade e conversão são medidas diferentes

A documentação da TypeSafe informa que Choice devolve a opção selecionada e sua distribuição de probabilidades. O campo confidence é calculado a partir dessa distribuição. Para n opções, a fórmula é: confidence = (p_max − 1/n) ÷ (1 − 1/n), em que p_max é a maior probabilidade.

Exemplo sintético: quatro equipes recebem probabilidades de 0,80, 0,10, 0,06 e 0,04, que somam 1. O confidence é (0,80 − 0,25) ÷ 0,75 = 0,7333, aproximadamente. Ele difere da probabilidade de 0,80 atribuída à primeira equipe. Nem um valor alto elimina a necessidade de verificar erros em dados conhecidos.

Se a pergunta classifica uma mensagem como pedido de orçamento, a resposta descreve essa classificação. Ela não informa a chance de o contato comprar. Prever conversão exige definir o evento, observar resultados comerciais e avaliar um modelo adequado a esse objetivo. Trocar o nome do campo para probabilidade de venda não transforma a medida.

Aprofunde este tema: Jev IA: como usar no Playground e na API com um exemplo →

Como interpretar Noul e Score sem confundir os resultados

Segundo a documentação de Noul, esse tipo responde uma pergunta de sim ou não com a probabilidade de sim e não traz confidence separado. Um valor fictício de 0,08 para a pergunta sobre pedido explícito de atendimento humano aponta para não; não significa, por si só, baixa confiança. Valores próximos de 0,5 dividem a probabilidade entre as duas respostas.

Score usa níveis descritivos ordenados e devolve uma média ponderada. Considere níveis fictícios de clareza de um briefing: 0, tarefa ausente; 1, tarefa descrita com dúvida relevante; 2, tarefa suficientemente delimitada. As probabilidades 0,10, 0,60 e 0,30 produzem 0 × 0,10 + 1 × 0,60 + 2 × 0,30 = 1,20.

Outra distribuição, 0,40, 0 e 0,60, também produz 1,20, mas divide o julgamento entre extremos. Por isso, confira a distribuição junto da média. O score localiza o texto nos níveis que você escreveu; não representa porcentagem de qualidade nem uma medida exata entre duas categorias.

Monte exemplos rotulados e separe ajuste de avaliação

Proponha à equipe um conjunto de solicitações autorizadas para avaliação, removendo informações desnecessárias. Acrescente exemplos sintéticos para falhas raras. Cada registro deve conter a entrada, a resposta esperada, uma justificativa verificável e a ação permitida. Quando os próprios revisores discordarem, esclareça a regra antes de cobrar concordância do modelo.

Separe os dados antes de ajustar perguntas. Use uma parte para desenvolver descrições, outra para escolher limiares e uma parte final reservada para avaliar a configuração congelada. Esse treino ou ajuste é do seu fluxo; não significa treinar os pesos do Jev. Mantenha mensagens da mesma conversa no mesmo grupo para reduzir vazamento de contexto.

Anote o modelo solicitado, a versão efetivamente informada na resposta, os critérios e a data. Se você revisar as regras após olhar o resultado final, trate esse conjunto como dado de desenvolvimento e reserve novos exemplos para a próxima avaliação.

Meça cobertura automática e erros que passaram pelo filtro

Imagine 100 solicitações sintéticas. A configuração automatiza 70, das quais 67 estão corretas e três erradas, e separa 30 para revisão. Essa conta permite enxergar a troca entre velocidade e trabalho humano. O denominador precisa acompanhar cada indicador.

Não conte os casos encaminhados como acertos. A conclusão depende de avaliar também a revisão e a ação efetivamente executada.

Escolha limiares por tarefa e confira calibração

No conjunto de ajuste, compare configurações possíveis: quantas decisões cada uma libera, quantas libera erradas e quantas envia à equipe. Escolha uma política compatível com a consequência do erro e com a capacidade de revisão. Um número copiado de um tutorial não resolve essa escolha.

Para uma pergunta sobre solicitação de atendimento humano, conte também os pedidos verdadeiros que passaram despercebidos e os encaminhamentos acionados sem necessidade. Se quase todas as mensagens forem dúvidas simples, um acerto geral alto pode esconder falhas justamente nos pedidos de ajuda. Examine essas duas situações separadamente e inclua exemplos suficientes da categoria menos frequente.

Para Choice, compare a probabilidade da opção escolhida com a frequência de acerto entre previsões semelhantes. Para Noul, compare o valor retornado com a frequência observada de respostas sim: uma faixa próxima de 0,20 deveria corresponder a cerca de 20% de casos positivos, em uma avaliação representativa. Não compare diretamente P(sim) com a taxa geral de acerto. Em um exemplo fictício, 50 previsões com probabilidade de 0,80 para a opção escolhida resultam em 36 acertos: a frequência observada é 72%. Essa diferença merece investigação; uma amostra pequena não estabelece uma garantia para casos futuros.

Agrupe resultados por faixas de probabilidade e por pergunta, registre o tamanho de cada grupo e examine as confusões entre categorias. O trabalho de Guo e colaboradores sobre calibração fundamenta essa distinção entre acertar e representar adequadamente a incerteza. Depois de escolher a política, avalie-a sem alterações no conjunto reservado.

Inclua limites documentados e português da operação

A página de limitações do Jev 1.13, revisada pela TypeSafe em 2 de outubro de 2026, registra dificuldades com números, datas, instruções indiretas, conteúdo adversarial e ordem das opções. Ela recomenda manter cálculos em código e verificar casos extremos. Transforme esses limites em testes próprios, como os seguintes.

Repita parte dos testes mudando a ordem das opções. Meça o português usado pelos seus clientes; não transfira uma média multilíngue para sua operação.

O que o estudo independente permite concluir

O preprint Evaluating and Benchmarking the System One Model Jev, de 29 de setembro de 2026, avaliou jev-1.13.0 em 37 conjuntos de dados. Os autores encontraram utilidade na seleção de respostas por confiança e mostraram que ajustar limiares em dados separados pode melhorar certas tarefas binárias. Os resultados variaram por tarefa e idioma.

O estudo utilizou um template por conjunto, executou cada solicitação uma vez e comparou dois modelos abertos sem etapa de raciocínio. Também não descartou exposição prévia aos pares de perguntas e respostas de benchmarks. É evidência inicial delimitada, apresentada como preprint; não valida automaticamente um atendimento brasileiro nem estabelece superioridade universal.

Leve a revisão humana até a ação concluída

Comece acompanhando as sugestões sem permitir alterações externas. Depois, libere uma tarefa reversível e acompanhe uma amostra das decisões automáticas. O registro mínimo deve permitir recuperar a entrada autorizada, a resposta, a política aplicada, a correção humana e o retorno do sistema que executou a ação.

Um encaminhamento só está criado quando a ferramenta responsável confirma o registro. Se houver erro de integração, entrada vazia ou resposta incompatível com o contrato, preserve a solicitação e acione a contingência definida. Acompanhe tempo até a equipe assumir e casos que ficaram sem dono.

O kit de Jev no bloco de materiais reúne recursos para preparar esse exercício. Use os exemplos como ponto de partida, documente os resultados do seu teste e revise a política quando mudar a versão, o vocabulário ou o processo atendido.