IA de voz donde una pregunta incorrecta rompe las reglas - Shiv Indap, Upstart y Brooke Hopkins, Coval
원제 · Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval
핵심 요약
La implementación de un ciclo continuo de evaluación automatizada y revisión humana eleva la tasa de acuerdo normativo del 33% al 92% en agentes de voz financieros.
하이라이트
Alrededor del 90% de las personas que solicitan un préstamo en Upstart reciben una decisión instantánea, mientras que el 10% restante debe realizar llamadas de verificación.
La tasa inicial de acuerdo entre los revisores humanos y el juez de inteligencia artificial en las llamadas de cumplimiento fue del 33%.
El proceso iterativo de retroalimentación y corrección de conocimientos implícitos elevó la tasa de acuerdo humano-IA al 92%.
Las evaluaciones de voz a voz realizan llamadas al agente para simular diferentes ruidos de fondo, acentos, calidades de voz e interrupciones antes de implementarlo en producción.
타임라인
Arquitectura de agentes de voz en sectores regulados
El control riguroso de las interacciones evita preguntas sobre solicitudes ajenas o montos de fondos médicos prohibidos por normativas. El sistema maneja con amabilidad las consultas de los usuarios sobre los plazos de desembolso sin salir de los parámetros del caso de uso autorizado.
- Los sistemas autónomos de voz comparten similitudes estructurales con los vehículos autónomos respecto a la integración de múltiples modelos.
- Los préstamos constituyen un sector altamente regulado donde los errores de los agentes de voz generan riesgos legales además de problemas de experiencia.
- El agente automatiza llamadas de verificación mediante tres preguntas clave sobre ingresos, uso de fondos y obligaciones financieras pendientes.
Evolución de las métricas y auditoría humana inicial
La revisión humana inicial de las llamadas requirió estructurar colas de trabajo donde los expertos evaluaban los resultados emitidos por la inteligencia artificial. La tasa de coincidencia entre humanos y la IA comenzó en un bajo 33% debido al conocimiento implícito no programado inicialmente.
- Las hojas de cálculo tradicionales colapsaron rápidamente ante el incremento de columnas añadidas por múltiples equipos de operaciones.
- Los jueces de modelos de lenguaje ejecutan evaluaciones automáticas tras finalizar cada llamada para verificar el cumplimiento normativo.
- El seguimiento inicial de métricas abarcó duración, precisión y claridad antes de ajustarse a los indicadores de mayor impacto.
Ciclo continuo de mejora y simulación de voz a voz
El proceso operativo conecta la detección de anomalías con la autorreparación y el uso de indicadores de funciones para la aprobación humana. Las industrias reguladas exigen evaluaciones sólidas y supervisadas para garantizar la seguridad y escalabilidad de los sistemas autónomos.
- El análisis detallado de las brechas de cumplimiento impulsó la tasa de concordancia hasta alcanzar el 92%.
- La plataforma de evaluación enruta las fallas detectadas hacia los equipos específicos de ingeniería, cumplimiento u operaciones.
- Las simulaciones de voz a voz validan las correcciones técnicas antes de que los cambios impacten a los usuarios en producción.
설명
Upstart handles thousands of lending calls a day, where one wrong question can become a regulatory problem. Shiv Indap, who leads voice AI at Upstart, and Brooke Hopkins, founder of Coval and former head of evaluation infrastructure at Waymo, walk through automating loan verification calls: the compliance traps, outgrowing a Google Sheet for human review, and raising agreement between the LLM judge and human reviewers from 33% to 92%. Then they lay out the full loop from live monitoring and human review queues to re-simulating fixes and self-healing agents, with every change still signed off by a human. Chapters: 0:00 Intro 1:02 Voice AI at Upstart 2:11 Automating verification calls 3:04 Where compliance gets tricky 4:14 Outgrowing the Google Sheet 5:28 Metrics and LLM judges 7:03 From 33% to 92% judge agreement 8:52 The continuous improvement loop 10:04 Defining metrics 10:51 Monitoring live calls 12:31 Re-simulating fixes before production 14:04 Self-healing agents 15:11 Wrap-up: humans stay in the loop Shiv Indap https://www.upstart.com Brooke Hopkins https://www.coval.dev Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!