语音 AI：一个错误的问题就会打破规则 - Shiv Indap (Upstart) & Brooke Hopkins (Coval)

원제 · Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval

17:032분 읽기AI Engineer2026. 10. 31.컴퓨터/소프트웨어 · 창업/스타트업 · 대출/신용

핵심 요약

构建持续优化的语音智能体闭环需要将人工审核与大模型裁判相结合，从而在严格满足合规要求的同时提升系统性能。

하이라이트

  • 语音智能体在金融科技等受监管领域的应用中，合规遵循和风险控制是首要考量因素。

  • 约90%的Upstart贷款申请能即时获得审批，其余10%则通过自动化语音智能体进行身份验证和信息核实。

  • 大模型裁判与人工审核员的一致性比例从最初的33%逐步提升至92%。

  • 语音到语音的模拟测试能够在修改发布前验证背景噪音、口音和打断处理等实际表现。

  • 人工审核员的标注和反馈能够直接用于优化大模型裁判的准确性。

타임라인

  1. 金融科技领域的语音智能体用例

    演讲者介绍了自身在自动驾驶评估和金融科技语音AI领域的背景。贷款行业的强监管属性决定了语音智能体不仅要关注客户体验，更要绝对符合规章制度。针对未获即时审批的10%申请人，智能体会询问三个核心问题，并在对话中根据用户的不同表述动态调整哪些内容可以询问、哪些内容属于合规禁区。

    • Upstart每天处理成千上万通涉及贷款监管的电话。
    • 大约90%的贷款申请实现即时审批，剩余10%通过智能体自动核实收入来源、资金用途及未偿还债务。
    • 身份验证通话需要严格遵守合规要求，例如针对医疗用途或毕业旅行等不同回答执行特定的提问规则。

  2. 评估指标的确立与一致性提升

    随着通话量的增加，简单的表格无法满足审计需求。团队精简并确定了准确性、清晰度、完整性、策略一致性、升级转接及CSAT等核心指标。通过对比大模型裁判输出与人工专家的反馈，团队不断将行业内部经验和隐性知识编写进系统，最终显著提高了评估结果的一致性。

    • 初期使用Google表格进行人工审核导致数据混乱，促使团队建立更标准化的流程。
    • 通话结束后运行大模型裁判，对合规要求等指标输出判定结果及解释。
    • 通过捕获隐性知识并改进评估器，人工审核员与大模型裁判的一致性从33%上升至92%。

  3. 构建持续优化的全闭环评估系统

    布鲁克详细阐述了持续优化智能体的完整循环。团队将故障精准路由给相应的工程或合规团队，利用人工标注不断修正裁判。通过在发布前进行语音到语音的模拟，系统能够在不同背景噪音和口音条件下测试修复效果，从而在满足金融监管和功能标志控制的前提下安全地推出更新。

    • 评估系统核心分为三个类别：是否到达终点、是否遵循步骤以及对话质量。
    • 通过实时监控、聚类分析和异常检测来大规模检测已知和未知的故障模式。
    • 利用语音到语音的模拟测试在生产环境外部验证修复方案，确保更新安全可靠。

설명

Upstart handles thousands of lending calls a day, where one wrong question can become a regulatory problem. Shiv Indap, who leads voice AI at Upstart, and Brooke Hopkins, founder of Coval and former head of evaluation infrastructure at Waymo, walk through automating loan verification calls: the compliance traps, outgrowing a Google Sheet for human review, and raising agreement between the LLM judge and human reviewers from 33% to 92%. Then they lay out the full loop from live monitoring and human review queues to re-simulating fixes and self-healing agents, with every change still signed off by a human. Chapters: 0:00 Intro 1:02 Voice AI at Upstart 2:11 Automating verification calls 3:04 Where compliance gets tricky 4:14 Outgrowing the Google Sheet 5:28 Metrics and LLM judges 7:03 From 33% to 92% judge agreement 8:52 The continuous improvement loop 10:04 Defining metrics 10:51 Monitoring live calls 12:31 Re-simulating fixes before production 14:04 Self-healing agents 15:11 Wrap-up: humans stay in the loop Shiv Indap https://www.upstart.com Brooke Hopkins https://www.coval.dev Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!

이 영상에 대해 글쓰기