Membuat Agen AI Itu Mudah. Membuktikannya Aman Tidak - Jonathan Osborne, NatWest

Highlights

• NatWest Group adalah bank ritel terbesar kedua di Inggris yang melayani sekitar 19 juta nasabah.

• Asisten digital Cora melayani sekitar 100.000 percakapan setiap hari.

• Sebanyak sepertiga alur perjalanan dalam Cora beralih ke jawaban yang dihasilkan oleh AI dengan dukungan RAG.

• Sistem berbasis agen memiliki setidaknya empat mode kegagalan utama, yaitu halusinasi yang penuh percaya diri, suntikan prompt, jawaban akurat tetapi tidak membantu, serta sifat nondeterministik.

• Corong perutean menggunakan filter kontekstual dan aturan pra-klasifikasi deterministik untuk menyaring sekitar 20 persen klik tombol sebelum model AI dijalankan.

• Validasi manusia pada agen pembayaran mencatat tingkat kelulusan 83 persen secara menyeluruh, tetapi terbagi menjadi 97 persen untuk alur mulus dan 43 persen untuk peralihan topik.

• Proyek agen keluhan internal mengevaluasi sekitar 14.000 kasus menggunakan validator manusia dan LLM sebagai juri.

Timeline

1. 00:00 - 02:24

   Pengantar dan Tantangan Membawa Agen AI ke Lingkungan Perbankan

   Pembuatan agen AI dengan alat pengkodean saat ini merupakan bagian yang mudah, sementara tantangan terbesarnya adalah membuktikan keamanannya. Dengan basis 19 juta nasabah, kesalahan sekecil apa pun dapat berdampak langsung pada nasabah dan memicu pertanyaan sulit dari regulator.

   • NatWest Group melayani sekitar 19 juta nasabah ritel di Inggris.
   • Asisten digital Cora menangani sekitar 100.000 percakapan sehari menggunakan jawaban berskenario.
   • Sebagian alur perjalanan Cora beralih ke jawaban yang dihasilkan oleh AI dan RAG untuk membantu nasabah melakukan pembayaran atau mengubah alamat.
   • Radius dampak kesalahan menjadi tantangan utama karena melibatkan uang nyata dan risiko reputasi perusahaan.
2. 02:24 - 06:34

   Mode Kegagalan Solusi Berbasis Agen dan Penerapan Corong Perutean

   Pertanyaan nasabah yang menyimpang dari topik awal sering kali merusak alur sistem berbasis skenario. Solusi berbasis agen mengatasi hal ini melalui penalaran, tetapi memunculkan risiko kegagalan baru seperti halusinasi yang meyakinkan dan respons nondeterministik yang menyulitkan pengujian regresi tradisional.

   • Pohon keputusan tradisional sangat buruk dalam menangani penyimpangan topik oleh nasabah.
   • Sistem berbasis agen memiliki empat mode kegagalan utama meliputi halusinasi, suntikan prompt, jawaban yang tidak membantu, dan sifat nondeterministik.
   • Corong perutean menerapkan filter kontekstual dan aturan pra-klasifikasi deterministik untuk menyaring kueri sebelum model AI dijalankan.
   • Pendekatan perutean ini dirancang dengan mempertimbangkan kontrol akses, kemampuan audit, ketahanan, dan tata kelola.
3. 06:34 - 12:08

   Evaluasi Kualitas, Validasi Manusia, dan Penggunaan LLM sebagai Juri

   Penggunaan skor tunggal untuk mengukur keakuratan agen dinilai tidak memadai karena menyembunyikan kelemahan pada kasus khusus. Validasi manusia menunjukkan tingkat kesepakatan yang tinggi pada aspek objektif, tetapi jauh lebih rendah pada pemahaman niat yang bersifat subjektif.

   • Penilaian kualitas agen dibagi menjadi tiga kategori terpisah yaitu keamanan, tugas, dan pengalaman.
   • Validasi manusia pada agen pembayaran mencatat tingkat kelulusan 83 persen secara keseluruhan, dengan selisih besar antara alur mulus dan peralihan topik.
   • Proyek agen keluhan internal mengevaluasi sekitar 14.000 kasus menggunakan validator manusia dan LLM sebagai juri.
   • Model juri harus berasal dari keluarga model yang berbeda dari agen untuk menghindari titik buta yang sama.
4. 12:08 - 17:52

   Infrastruktur Observabilitas, Penerapan Bayangan, dan Kesimpulan

   Sistem pemantauan menggunakan platform Comet untuk menyatukan OpenTelemetry dan pemantauan kinerja model. Melalui penerapan bayangan dan pengujian regresi otomatis, perusahaan dapat memastikan keamanan sistem sebelum diluncurkan secara penuh kepada nasabah.

   • Perekaman interaksi menggunakan standar OpenInference dan OpenTelemetry dikelola di lingkungan yang terisolasi.
   • Penerapan bayangan memungkinkan pengujian menggunakan data produksi nyata dengan risiko hampir nol bagi pelanggan.
   • Penanda fitur digunakan untuk mengisolasi backend dan mengalihkan lalu lintas kembali ke solusi berskenario dalam hitungan detik jika diperlukan.
   • Evaluasi berkelanjutan dan pengujian regresi ketat dalam CI/CD merupakan bagian dari infrastruktur produksi yang esensial.