たった一つの間違った質問がルールを壊す音声AI - Shiv Indap（Upstart）＆ Brooke Hopkins（Coval）

원제 · Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval

17:032분 읽기AI Engineer2026. 10. 31.컴퓨터/소프트웨어 · 창업/스타트업 · 대출/신용

핵심 요약

規制の厳しい業界で音声AIエージェントを運用するためには、自動化された指標と人間によるレビューを組み合わせた継続的な評価ループが不可欠である。

하이라이트

  • 融資の申し込みにおける確認電話の自動化では、継続的な収入源の有無、資金の用途、未払い債務の3つの質問を行う。

  • コンプライアンス要件の遵守率を測定するLLM審査員と人間のレビュアーの一致率は、初期の33%から92%まで向上した。

  • 本番環境へのリスクを避けるため、シフトレフトの考え方を取り入れて音声対話のシミュレーションでバグや不具合を事前に検証する。

  • 通話をすべて人間がレビューする代わりに、自動化された指標と失敗パターンの検知を利用して重要な通話のみを人間によるレビューに回す。

타임라인

  1. 音声エージェントのユースケースと規制上の課題

    自動運転車の開発経験を応用し、音声エージェントの評価システムが構築されている。融資の審査において即座に結果が出ない約10%の申請者に対し、収入の継続性や資金の用途などを確認する通話をエージェントが担当する。特定の用途に対して詳細な金額を尋ねてはならないなど、コンプライアンス上の厳しい制約を満たす必要がある。

    • Upstartでは融資の申し込みにおける確認電話を自動化している。
    • 融資分野は規制が厳しいため、音声エージェントの誤った対応は深刻な問題につながる。
    • 申請者の状況に応じて質問や対応を厳密に制御する必要がある。

  2. 指標の定義と人間によるレビューの重要性

    初期はスプレッドシートでの手動レビューが行われていたが、データの肥大化と混乱を招いたため、Covalを通じた体系的なプロセスへ移行した。LLM審査員による自動評価と人間の専門家による確認を組み合わせることで、暗黙知となっていたコンプライアンス基準をコード化し、一致率を33%から92%まで高めることに成功した。

    • 初期のスプレッドシート管理による混乱を経て、体系的なレビュープロセスが導入された。
    • 精度やポリシーへの準拠などの指標を用いてLLM審査員が通話を評価する。
    • 人間のレビュアーとのフィードバックを繰り返すことで、審査員の一致率が大幅に改善された。

  3. 継続的な改善ループとシミュレーションによる検証

    一度きりのリリースゲートではなく、継続的にエージェントを改善するフィードバックループが機能している。ライブ通話から失敗を検知してレビューキューへ送り、そこで得られたデータをもとにシミュレーション環境で修正をテストする。これにより、ユーザーにリスクが及ぶ前に問題を解決し、規制を遵守しながら安全にスケールさせることが可能になる。

    • ライブ通話のモニタリングによって既知および未知の失敗パターンを検知する。
    • 検出された不具合は適切なチームに振り分けられ、修正が行われる。
    • 本番リリース前にシミュレーションを実施して修正の効果を検証する。

설명

Upstart handles thousands of lending calls a day, where one wrong question can become a regulatory problem. Shiv Indap, who leads voice AI at Upstart, and Brooke Hopkins, founder of Coval and former head of evaluation infrastructure at Waymo, walk through automating loan verification calls: the compliance traps, outgrowing a Google Sheet for human review, and raising agreement between the LLM judge and human reviewers from 33% to 92%. Then they lay out the full loop from live monitoring and human review queues to re-simulating fixes and self-healing agents, with every change still signed off by a human. Chapters: 0:00 Intro 1:02 Voice AI at Upstart 2:11 Automating verification calls 3:04 Where compliance gets tricky 4:14 Outgrowing the Google Sheet 5:28 Metrics and LLM judges 7:03 From 33% to 92% judge agreement 8:52 The continuous improvement loop 10:04 Defining metrics 10:51 Monitoring live calls 12:31 Re-simulating fixes before production 14:04 Self-healing agents 15:11 Wrap-up: humans stay in the loop Shiv Indap https://www.upstart.com Brooke Hopkins https://www.coval.dev Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!

이 영상에 대해 글쓰기