IA de Voz Onde Uma Pergunta Errada Quebra as Regras - Shiv Indap, Upstart & Brooke Hopkins, Coval

Highlights

• Cerca de 90% das pessoas que se candidatam na Upstart recebem uma decisão instantânea, enquanto os 10% restantes precisam passar por ligações de verificação automatizadas.

• A taxa inicial de concordância entre os juízes de LLM e os revisores humanos em questões de conformidade era de apenas 33%.

• O alinhamento entre as avaliações automatizadas e a revisão humana subiu de 33% para 92% com a codificação do conhecimento tácito e refinamento dos avaliadores.

• As simulações de voz para voz testam ruídos de fundo, sotaques e interrupções antes que qualquer alteração seja implementada na produção.

Timeline

1. 00:00 - 05:00

   Contexto e Caso de Uso de Agentes de Voz em Empréstimos

   O histórico de infraestrutura de avaliação da Waymo serve de base para garantir que sistemas autônomos de voz operem de forma confiável em ambientes complexos. Na Upstart, o processo de verificação atinge os 10% de solicitantes que não recebem aprovação instantânea. Qualquer erro do agente nestas chamadas gera problemas regulatórios graves, exigindo conformidade estrita com as regras financeiras vigentes.

   • A Koval desenvolve avaliações para agentes de voz autônomos com base em metodologias de infraestrutura de veículos autônomos.
   • A Upstart opera no setor de tecnologia financeira com foco em empréstimos e realiza milhares de ligações diárias.
   • O agente automatizado de verificação realiza três perguntas principais sobre fontes de renda, uso dos fundos e obrigações pendentes.
   • Questões regulatórias rigorosas impedem que o agente colete valores para finalidades médicas ou forneça prazos fixos de liberação.
2. 05:00 - 08:52

   Evolução das Métricas e Juízes de LLM

   O uso inicial de planilhas falhou devido à inserção caótica de dados por diferentes equipes operacionais. Para solucionar isso, a introdução de juízes de LLM automatizou a pontuação das chamadas, exigindo validação humana constante. Através da identificação de lacunas e codificação de regras implícitas, a concordância entre a IA e os especialistas humanos subiu para 92%.

   • A auditoria inicial dependia de planilhas do Google Sheets que rapidamente se tornaram desestruturadas com o aumento de colunas e colaboradores.
   • Um LLM atua como juiz logo após o término de cada chamada para avaliar requisitos de conformidade com perguntas de sim ou não e explicações.
   • As métricas rastreadas foram reduzidas com o tempo para precisão, clareza, abrangência, alinhamento de políticas, escalonamento correto e pontuação CSAT.
   • A taxa inicial de concordância entre o juiz de LLM e os revisores humanos era de 33% devido ao conhecimento tácito não codificado.
3. 08:52 - 16:57

   Ciclo Contínuo de Avaliação e Simulação

   A criação de um ciclo completo de feedback permite detectar padrões de falha conhecidos e anomalias desconhecidas em escala. O direcionamento de falhas específicas para as equipes competentes acelera a correção de bugs e problemas de conformidade. A simulação prévia evita riscos em produção e consolida o uso de avaliações robustas como definição de qualidade para produtos autônomos.

   • O processo de melhoria contínua monitora conversas ao vivo, define métricas, sinaliza chamadas e direciona falhas para revisores humanos.
   • As avaliações baseiam-se em três categorias principais: conclusão do objetivo, adesão aos passos e qualidade da conversa.
   • As simulações de voz para voz testam sotaques, ruídos de fundo e interrupções antes de impactar os usuários em produção.
   • As alterações em produção passam por aprovação humana e flags de recurso, mantendo o controle em setores altamente regulamentados.