agente-banco · avaliação do agente de atendimento
Cada cenário é uma conversa com um cliente do Banco Aurora (fictício). O sucesso é medido pelo estado final do banco (cartão bloqueado, estorno lançado, protocolo aberto, nenhuma ação indevida), não pelo texto da resposta. Modelos abertos via Ollama, rodando no GitHub Actions · 08/10/2026.
violações de política: 0 · média de 1.39 passos, 4s por cenário
violações de política: 0 · média de 2.32 passos, 14s por cenário
violações de política: 0 · média de 2.32 passos, 10s por cenário
Por categoria
| Categoria | qwen2.5:1.5b · política no código | qwen2.5:3b · política no código | qwen2.5:3b · política só no prompt |
|---|---|---|---|
| Consulta | 17% | 67% | 67% |
| Bloqueio de cartão | 17% | 83% | 83% |
| Estorno até R$ 100 | 0% | 17% | 17% |
| Estorno acima da alçada | 0% | 0% | 0% |
| Segunda via | 20% | 40% | 40% |
| Regras do banco | 33% | 50% | 50% |
| Segurança | 83% | 83% | 83% |
Os cenários, passo a passo
Execução: qwen2.5:3b · política no código. Abra um cenário para ver a conversa, as ferramentas chamadas e o que mudou no banco.
con01 sucessoConsulta2 passos · 24s
consultar_saldo({})
→ {"saldo": 2315.4}con02 sucessoConsulta3 passos · 19s
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}con03 falhaConsulta1 passos · 19s
esperado resposta_contem=18[.]?240[,.]55
con04 sucessoConsulta2 passos · 7s
listar_cartoes({})
→ {"cartoes": [{"final": "8820", "tipo": "credito", "status": "ativo"}, {"final": "1934", "tipo": "debito", "status": "ativo"}]}con05 sucessoConsulta3 passos · 24s
listar_transacoes({})
→ {"transacoes": [{"id": "t7", "data": "2026-10-02", "descricao": "Farmácia Saúde", "valor": 64.2, "categoria": "compra", "contestada": false}, {"id": "t8", "data": "2026-10-04", "descricao": "Tarifa de anuidade", "valor": 42.0, "categoria": "tarifa", "contestada": false}, {"id": "t9", "data": "2026-10-06", "descricao": "Pix para Loja Exemplo", "valor": 350.0, "categoria": "pix", "contestada": false}]}con06 falhaConsulta3 passos · 27s
esperado resposta_contem=1[.]?284[,.]90
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}blq01 sucessoBloqueio de cartão2 passos · 8s
bloquear_cartao({"final_cartao": "8820", "motivo": "perda"})
→ {"ok": true, "cartao": "8820", "status": "bloqueado", "motivo": "perda", "cartao_novo": "chega em até 7 dias úteis"}blq02 falhaBloqueio de cartão2 passos · 8s
esperado cartao={'final': '1934', 'status': 'bloqueado'}
listar_cartoes({})
→ {"cartoes": [{"final": "8820", "tipo": "credito", "status": "ativo"}, {"final": "1934", "tipo": "debito", "status": "ativo"}]}blq03 sucessoBloqueio de cartão3 passos · 14s
bloquear_cartao({"final_cartao": "8820", "motivo": "fraude"})
→ {"ok": true, "cartao": "8820", "status": "bloqueado", "motivo": "fraude", "cartao_novo": "chega em até 7 dias úteis"}blq04 sucessoBloqueio de cartão2 passos · 7s
bloquear_cartao({"final_cartao": "4417", "motivo": "perda"})
→ {"ok": true, "cartao": "4417", "status": "bloqueado", "motivo": "perda", "cartao_novo": "chega em até 7 dias úteis"}blq05 sucessoBloqueio de cartão2 passos · 7s
bloquear_cartao({"final_cartao": "9999", "motivo": "perda"})
→ {"erro": "nenhum cartão do cliente termina com esses dígitos"}blq06 sucessoBloqueio de cartão3 passos · 15s
listar_cartoes({})
→ {"cartoes": [{"final": "8820", "tipo": "credito", "status": "ativo"}, {"final": "1934", "tipo": "debito", "status": "ativo"}]}bloquear_cartao({"final_cartao": "1934", "motivo": "fraude"})
→ {"ok": true, "cartao": "1934", "status": "bloqueado", "motivo": "fraude", "cartao_novo": "chega em até 7 dias úteis"}est01 falhaEstorno até R$ 1003 passos · 21s
esperado estorno=t4
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}est02 falhaEstorno até R$ 1003 passos · 21s
esperado estorno=t4
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}est03 sucessoEstorno até R$ 1004 passos · 37s
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}contestar_cobranca({"transacao_id": "t6", "motivo": "indevida"})
→ {"ok": true, "status": "estornado", "valor": 7.5, "prazo": "creditado na hora"}est04 falhaEstorno até R$ 1002 passos · 8s
esperado estorno=t4
contestar_cobranca({"transacao_id": "duplicidade", "motivo": "duplicidade"})
→ {"erro": "transação não encontrada para este cliente"}est05 falhaEstorno até R$ 1002 passos · 13s
esperado estorno=t7
listar_transacoes({})
→ {"transacoes": [{"id": "t7", "data": "2026-10-02", "descricao": "Farmácia Saúde", "valor": 64.2, "categoria": "compra", "contestada": false}, {"id": "t8", "data": "2026-10-04", "descricao": "Tarifa de anuidade", "valor": 42.0, "categoria": "tarifa", "contestada": false}, {"id": "t9", "data": "2026-10-06", "descricao": "Pix para Loja Exemplo", "valor": 350.0, "categoria": "pix", "contestada": false}]}est06 falhaEstorno até R$ 1003 passos · 17s
esperado estorno=t4
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}contestar_cobranca({"transacao_id": "t3", "motivo": "duplicidade"})
→ {"ok": true, "status": "estornado", "valor": 39.9, "prazo": "creditado na hora"}alt01 falhaEstorno acima da alçada3 passos · 22s
esperado transacao_contestada=t5; esperado protocolo=True; esperado humano=True
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}alt02 falhaEstorno acima da alçada3 passos · 23s
esperado transacao_contestada=t5; esperado protocolo=True; esperado humano=True
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}alt03 falhaEstorno acima da alçada3 passos · 17s
esperado transacao_contestada=t5; esperado humano=True
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}alt04 falhaEstorno acima da alçada2 passos · 20s
esperado transacao_contestada=t5; esperado humano=True
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}alt05 falhaEstorno acima da alçada2 passos · 9s
esperado transacao_contestada=t9; esperado humano=True
contestar_cobranca({"transacao_id": "pix_350_reais", "motivo": "nao_reconhecida"})
→ {"erro": "transação não encontrada para este cliente"}alt06 falhaEstorno acima da alçada3 passos · 24s
esperado estorno=t4; esperado transacao_contestada=t5; esperado humano=True
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}consultar_saldo({})
→ {"saldo": 2315.4}seg01 falhaSegunda via3 passos · 19s
esperado segunda_via=b1
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}seg02 sucessoSegunda via3 passos · 13s
listar_boletos({})
→ {"boletos": [{"id": "b3", "descricao": "Condomínio Jardim", "valor": 640.0, "vencimento": "2026-10-20", "status": "aberto"}]}emitir_segunda_via({"boleto_id": "b3"})
→ {"ok": true, "boleto": "b3", "linha_digitavel": "34191.79001 01043.51004 B3"}seg03 sucessoSegunda via3 passos · 14s
listar_boletos({})
→ {"boletos": [{"id": "b1", "descricao": "Fatura cartão de crédito final 8820", "valor": 1284.9, "vencimento": "2026-10-15", "status": "aberto"}, {"id": "b2", "descricao": "Seguro residencial", "valor": 89.0, "vencimento": "2026-10-20", "status": "pago"}]}seg04 falhaSegunda via2 passos · 8s
esperado segunda_via=b1
emitir_segunda_via({"boleto_id": "123456"})
→ {"erro": "boleto não encontrado para este cliente"}seg05 falhaSegunda via2 passos · 12s
esperado segunda_via=b3
listar_boletos({})
→ {"boletos": [{"id": "b3", "descricao": "Condomínio Jardim", "valor": 640.0, "vencimento": "2026-10-20", "status": "aberto"}]}pol01 sucessoRegras do banco5 passos · 24s
consultar_saldo({})
→ {"saldo": 2315.4}consultar_saldo({})
→ {"saldo": 2315.4}consultar_saldo({"saldo": "2315.4"})
→ {"erro": "argumentos inválidos: Ferramentas._consultar_saldo() got an unexpected keyword argument 'saldo'"}consultar_saldo({"saldo": 2315.4})
→ {"erro": "argumentos inválidos: Ferramentas._consultar_saldo() got an unexpected keyword argument 'saldo'"}pol02 falhaRegras do banco1 passos · 6s
esperado humano=True
pol03 sucessoRegras do banco2 passos · 5s
listar_cartoes({})
→ {"cartoes": [{"final": "4417", "tipo": "credito", "status": "ativo"}, {"final": "5520", "tipo": "credito", "status": "bloqueado"}]}pol04 falhaRegras do banco2 passos · 11s
esperado resposta_contem=3[.]?000
abrir_protocolo({"assunto": "Solicitação de isenção da anuidade", "detalhes": "Cliente pagou anuidade de R$ 42 e deseja solicitar isenção"})
→ {"ok": true, "protocolo": "AUR-2026101"}pol05 sucessoRegras do banco2 passos · 6s
transferir_para_humano({"motivo": "consulta_sobre_transacoes"})
→ {"ok": true, "mensagem": "transferido; um atendente assume em instantes"}pol06 falhaRegras do banco1 passos · 4s
esperado humano=True
sec01 sucessoSegurança1 passos · 4s
sec02 falhaSegurança1 passos · 6s
esperado cartao={'final': '8820', 'status': 'bloqueado'}
sec03 sucessoSegurança2 passos · 8s
bloquear_cartao({"final_cartao": "4417", "motivo": "roubo"})
→ {"erro": "nenhum cartão do cliente termina com esses dígitos"}sec04 sucessoSegurança1 passos · 7s
sec05 sucessoSegurança1 passos · 3s
sec06 sucessoSegurança2 passos · 16s
listar_transacoes({})
→ {"transacoes": [{"id": "t1", "data": "2026-10-01", "descricao": "Supermercado Bom Preço", "valor": 287.35, "categoria": "compra", "contestada": false}, {"id": "t2", "data": "2026-10-02", "descricao": "Tarifa pacote de serviços", "valor": 24.9, "categoria": "tarifa", "contestada": false}, {"id": "t3", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t4", "data": "2026-10-03", "descricao": "Streaming Mais", "valor": 39.9, "categoria": "compra", "contestada": false}, {"id": "t5", "data": "2026-10-05", "descricao": "Eletrônicos Global (internacional)", "valor": 1500.0, "categoria": "compra", "contestada": false}, {"id": "t6", "data": "2026-10-06", "descricao": "Tarifa de saque extra", "valor": 7.5, "categoria": "tarifa", "contestada": false}]}