Anthropic Akhirnya Memperbaiki Masalah Context Window 1 Juta Token

하이라이트

• Degradasi performa model atau 'context rot' mulai terjadi pada penggunaan 300.000 hingga 400.000 token, meskipun jendela konteks tersedia hingga 1 juta token.

• Pemadatan otomatis sering kali bersifat 'lossy' dan tidak dapat diandalkan karena model cenderung menghapus detail penting saat mencoba meringkas di tengah tugas.

• Penggunaan sub-agen memungkinkan isolasi konteks, di mana tugas penelitian atau sub-tugas dieksekusi secara terpisah tanpa membebani jendela konteks utama.

• Perintah 'rewind' lebih efektif daripada mengoreksi kesalahan secara langsung, karena perintah ini menghapus riwayat yang salah dan memastikan status kerja tetap bersih.

• Pemanfaatan struktur JSON untuk menyimpan status aplikasi dan instruksi penting secara manual memberikan kontrol lebih akurat dibandingkan pemadatan otomatis oleh model.

• Agen yang tidak dikelola dengan benar rentan terhadap empat kegagalan utama: polusi konteks, penyimpangan tujuan, korupsi memori, dan ketidakakuratan keputusan.

타임라인

1. 00:00 - 02:14

   Masalah Context Rot pada Jendela 1 Juta Token

   Kapasitas konteks yang besar sering kali dianggap sebagai solusi mutlak, namun kenyataannya justru memperbesar potensi gangguan pada penalaran model. Context rot terjadi karena model memiliki terlalu banyak informasi untuk diproses, sehingga instruksi awal sering kali terlupakan atau terabaikan. Masalah ini tidak menunggu hingga batas 1 juta token, melainkan sudah muncul di kisaran 40% dari kapasitas tersebut.

   • Jendela konteks 1 juta token memicu penurunan performa yang disebut context rot.
   • Penurunan kualitas penalaran agen mulai terasa setelah penggunaan 300.000 hingga 400.000 token.
   • Kapasitas yang terlalu besar menyebabkan model kehilangan fokus akibat terlalu banyak informasi.
2. 02:15 - 04:05

   Jenis Kegagalan Agen Akibat Manajemen Konteks

   Agen yang berjalan dalam durasi panjang rentan terhadap berbagai kegagalan logis. Polusi konteks terjadi karena penumpukan informasi yang tidak relevan, sementara korupsi memori terjadi ketika agen mengacu pada data yang telah dimodifikasi oleh proses lain tanpa memperbarui status internalnya. Ketidakakuratan keputusan muncul saat agen memberikan respon kontradiktif dalam situasi serupa karena gagal mempertahankan pola yang konsisten.

   • Manajemen konteks yang buruk menyebabkan polusi konteks, penyimpangan tujuan, korupsi memori, dan ketidakakuratan keputusan.
   • Penyimpangan tujuan terjadi ketika agen melupakan instruksi asli karena beban informasi yang terlalu tinggi.
   • Korupsi memori sering kali sulit dideteksi karena terjadi saat agen merujuk pada status internal yang tidak lagi akurat.
3. 04:06 - 08:07

   Strategi Optimasi Konteks: Compact dan Clear

   Pemadatan otomatis cenderung bias terhadap informasi terbaru (recency bias) dan sering mengabaikan detail penting dari riwayat yang lebih lama. Pengguna disarankan untuk mengambil kendali penuh dengan memicu pemadatan secara manual pada batas 300.000-400.000 token. Saat tugas berpindah konteks, penggunaan perintah 'clear' lebih disarankan daripada melakukan pemadatan untuk memastikan sesi baru benar-benar bersih.

   • Pemadatan otomatis oleh model berisiko menghapus detail penting karena ketergantungan pada asumsi model.
   • Pengguna sebaiknya memicu perintah pemadatan secara manual untuk hasil yang lebih terkontrol.
   • Perintah 'clear' efektif digunakan saat beralih ke tugas baru yang tidak berhubungan untuk mencegah interferensi data.
4. 08:08 - 12:47

   Teknik Tingkat Lanjut: JSON, Sub-Agen, dan Rewind

   Penggunaan skema JSON yang ketat untuk menyimpan status aplikasi memungkinkan transisi yang lebih handal antar sesi. Sub-agen berfungsi sebagai instans independen yang membatasi polusi konteks pada tugas penelitian atau pembuatan dokumen. Terakhir, pembiasaan menggunakan 'rewind' memastikan bahwa setiap langkah agen dibangun di atas status yang benar, menghindari akumulasi kesalahan dari langkah sebelumnya.

   • Penyimpanan status ke format JSON terstruktur memungkinkan pembersihan konteks tanpa kehilangan informasi krusial.
   • Sub-agen mengisolasi tugas spesifik untuk menjaga jendela konteks utama tetap bersih dari sampah data sementara.
   • Perintah 'rewind' memutar balik sesi untuk menghapus kesalahan dan memastikan status kerja tetap akurat.