AI Suara yang Melanggar Aturan Hanya karena Satu Pertanyaan Salah - Shiv Indap, Upstart & Brooke Hopkins, Coval
원제 · Voice AI Where One Wrong Question Breaks the Rules - Shiv Indap, Upstart & Brooke Hopkins, Coval
핵심 요약
Penyusunan kerangka evaluasi berbasis juri LLM dan peninjauan manusia yang terstruktur memungkinkan perusahaan keuangan meluncurkan agen suara otonom secara aman dan mematuhi regulasi.
하이라이트
Sistem Upstart mengotomatiskan panggilan verifikasi pinjaman untuk 10% pemohon yang memerlukan verifikasi informasi.
Tingkat kesepakatan antara peninjau manusia dan juri LLM meningkat dari 33% menjadi 92% melalui proses umpan balik yang berkelanjutan.
Proses audit awal menggunakan Google Sheet menjadi tidak beraturan karena penambahan kolom secara sembarangan oleh tim operasional.
Evaluasi suara-ke-suara menguji kebisingan latar belakang, aksen, kualitas suara, dan interupsi sebelum pembaruan diterapkan ke produksi.
타임라인
Pengenalan Kasus Penggunaan Agen Suara di Sektor FinTech
Latar belakang dari Waymo dan Koval menunjukkan kesamaan antara kendaraan otonom dan agen suara dalam hal keandalan sistem. Di Upstart, kesalahan penanganan panggilan suara berisiko memicu masalah regulasi yang serius. Proses verifikasi melibatkan tiga pertanyaan inti mengenai pendapatan, penggunaan dana, dan kewajiban yang belum diselesaikan.
- Upstart menangani ribuan panggilan setiap hari dalam industri pembiayaan yang diatur secara ketat.
- Agen suara mengotomatiskan panggilan verifikasi bagi 10% pemohon yang tidak langsung mendapatkan keputusan otomatis.
- Aturan kepatuhan melarang penanyaan jumlah dana jika pemohon menggunakannya untuk keperluan medis.
Pengembangan Metrik dan Proses Audit Manusia
Penggunaan spreadsheet sederhana gagal mempertahankan struktur data saat jumlah peninjau bertambah. Sistem beralih menggunakan juri LLM untuk menilai kepatuhan dan menghasilkan penjelasan ya atau tidak. Umpan balik manusia membantu menyelaraskan keluaran juri dengan standar ahli.
- Audit panggilan awal menggunakan Google Sheet mengalami kekacauan data akibat penambahan kolom yang tidak terkontrol.
- Juri LLM mengevaluasi persyaratan kepatuhan secara otomatis segera setelah panggilan selesai.
- Daftar metrik diperkecil seiring waktu untuk berfokus pada akurasi, kejelasan, kelengkapan, dan skor CSAT.
Siklus Peningkatan Agen dan Simulasi Produksi
Penerapan siklus berkelanjutan memungkinkan pemantauan panggilan secara langsung dan deteksi anomali skala besar. Kegagalan sistem dirutekan ke tim yang tepat untuk peninjauan manusia. Pendekatan ini menggeser deteksi kesalahan ke tahap simulasi guna menghindari dampak buruk bagi pengguna di produksi.
- Tingkat kesepakatan antara juri LLM dan manusia melonjak dari 33% menjadi 92% setelah perbaikan pengetahuan internal.
- Simulasi suara-ke-suara menguji kebisingan latar belakang dan interupsi sebelum perubahan dirilis ke produksi.
- Evaluasi yang tangguh menjadi cetak biru untuk meluncurkan agen suara yang mematuhi regulasi ketat.
설명
Upstart handles thousands of lending calls a day, where one wrong question can become a regulatory problem. Shiv Indap, who leads voice AI at Upstart, and Brooke Hopkins, founder of Coval and former head of evaluation infrastructure at Waymo, walk through automating loan verification calls: the compliance traps, outgrowing a Google Sheet for human review, and raising agreement between the LLM judge and human reviewers from 33% to 92%. Then they lay out the full loop from live monitoring and human review queues to re-simulating fixes and self-healing agents, with every change still signed off by a human. Chapters: 0:00 Intro 1:02 Voice AI at Upstart 2:11 Automating verification calls 3:04 Where compliance gets tricky 4:14 Outgrowing the Google Sheet 5:28 Metrics and LLM judges 7:03 From 33% to 92% judge agreement 8:52 The continuous improvement loop 10:04 Defining metrics 10:51 Monitoring live calls 12:31 Re-simulating fixes before production 14:04 Self-healing agents 15:11 Wrap-up: humans stay in the loop Shiv Indap https://www.upstart.com Brooke Hopkins https://www.coval.dev Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!