Construir o Agente de IA é Fácil. Provar que é Seguro, Não - Jonathan Osborne, NatWest

Highlights

• O NatWest atende aproximadamente 19 milhões de clientes de varejo e processa cerca de 100.000 conversas por dia através do assistente digital Cora.

• O assistente de IA baseia-se em RAG e bases de conhecimento para trazer cerca de um terço das jornadas do Cora para respostas geradas por IA.

• Um roteiro baseado em intenções atinge 94% de precisão, mas falhas em 6% dos casos com alta certeza representam riscos críticos em ambientes bancários.

• A validação humana de 111 conversas em 37 jornadas de pagamento revelou uma taxa de aprovação geral de 83%, com apenas 43% de eficácia em mudanças de tópicos.

• O uso de implantações fantasma (shadow deployment) permite classificar conversas reais de clientes com risco quase zero antes de responder diretamente ao público.

Timeline

1. 00:00 - 04:54

   Contexto e Desafios de IA em Bancos Regulados

   O assistente digital Cora está em transição para incorporar respostas geradas por IA e RAG em cerca de um terço de suas jornadas. Diferente de árvores de decisão tradicionais, os agentes conseguem lidar com desvios de conversas, mas ampliam o raio de impacto para milhões de clientes. Erros nesses sistemas geram danos financeiros, regulatórios e reputacionais significativos.

   • O NatWest lida com 19 milhões de clientes de varejo no Reino Unido.
   • O assistente Cora gerencia 100.000 conversas diárias com respostas predominantemente roteirizadas.
   • Sistemas baseados em agentes introduzem novos tipos de falha, como alucinações confiantes, injeções de prompt e respostas não determinísticas.
2. 04:54 - 06:34

   Mitigação de Riscos com o Funil de Roteamento

   Para mitigar os riscos associados à IA generativa, o banco implementou um funil em camadas que intercepta a consulta do cliente antes de acionar os modelos complexos. Cliques em botões e regras determinísticas resolvem grande parte dos casos sem envolver aprendizado de máquina, garantindo rastreabilidade e respostas rápidas a mudanças de mercado sem deploys completos.

   • Um funil de roteamento reduz a superfície de ataque antes de ativar modelos de IA generativa.
   • O sistema utiliza filtros contextuais, regras determinísticas, relevância e um classificador de intenção baseado em embeddings.
   • O design prioriza controle de acesso, auditabilidade estrita para reguladores, resiliência e governança baseada em configuração versionada.
3. 06:34 - 11:08

   Avaliação de Desempenho e Validação Humana

   Métricas isoladas como precisão global ocultam falhas em cenários atípicos. A análise detalhada com revisores humanos demonstra que o alinhamento subjetivo é complexo. Além disso, o uso de modelos de linguagem como juízes requer cuidados rigorosos, pois tendem a ser excessivamente generosos e exigem calibração constante.

   • O desempenho do sistema é avaliado em três dimensões: segurança, tarefa e experiência.
   • A validação humana em 111 conversas de pagamento revelou 97% de aprovação em caminhos felizes, mas apenas 43% em mudanças de tópicos.
   • A concordância entre avaliadores humanos atinge 95% em viés, mas cai para 64% na compreensão subjetiva de intenções.
4. 11:08 - 17:52

   Infraestrutura de Observabilidade e Implantação

   A arquitetura de produção combina monitoramento de IA generativa e aprendizado de máquina em uma única plataforma. O uso de modo sombra (shadow deployment) viabiliza a conformidade com requisitos regulatórios de risco antes do lançamento público. Ferramentas de CI/CD e sinalizadores de recursos garantem reversibilidade imediata em caso de falhas.

   • O rastreamento de dados utiliza OpenTelemetry e OpenInference integrados em ambientes isolados (air-gapped).
   • Implantações fantasma permitem testar modelos com dados de produção reais com risco quase zero.
   • Feature flags possibilitam o isolamento global ou por marca de back-ends individuais em segundos.