Anthropic Akhirnya Memperbaiki Masalah Context Window 1 Juta Token

AAI LABS
Computing/SoftwareManagementInternet Technology

Transcript

00:00:00Jendela konteks 1 juta terdengar seperti peningkatan besar, tapi kenyataannya jauh lebih buruk daripada yang disadari kebanyakan orang.
00:00:05Dan inilah alasan tepat mengapa Tarik, teknisi yang mengerjakan Claude Code, menulis artikel tersebut.
00:00:09Jika Anda berpikir Claude Code hanya mulai memburuk pada 1 juta token, atau bahwa 1 juta itu sangat besar sehingga Anda tidak perlu khawatir, Anda sebenarnya salah.
00:00:17Degradasi justru dimulai jauh sebelum setengah dari kapasitas jendela tersebut.
00:00:21Dan solusi yang sering digunakan orang, yaitu pemadatan (compaction), biasanya justru memperburuk keadaan.
00:00:24Di akhir video ini, Anda akan tahu persis cara mencegah Claude Code menjadi "lebih bodoh", sama seperti yang dilakukan tim di Anthropic.
00:00:31Claude Code terasa menurun performanya meskipun modelnya sendiri sebenarnya sangat kuat.
00:00:35Anda mungkin memperhatikan bahwa ia lebih sering berhalusinasi, harus terus-menerus diingatkan tentang instruksi yang Anda berikan sebelumnya, dan melupakan instruksi tersebut dalam jangka panjang.
00:00:44Kami juga menyadari hal ini saat menjalankan tugas yang lebih lama, dan performa Claude terasa menurun.
00:00:48Namun, ada alasan mendalam di baliknya.
00:00:50Sekarang, model setelah Opus 4.5 semuanya hadir dengan jendela konteks 1 juta, bukan 200.000 seperti sebelumnya.
00:00:56Meskipun peningkatan ini terdengar seolah sebagian besar masalah lama kita akan hilang dengan jendela konteks 1 juta, itu hanya terdengar bagus dalam teori.
00:01:03Karena sekarang Anda dapat memuat lebih banyak hal sekaligus ke dalam jendela konteks dibandingkan sebelumnya, dan memberikan landasan dengan lebih banyak dokumen dan informasi agar Claude tidak menyimpang dari tugas yang harus dikerjakan.
00:01:12Jendela konteks 1 juta juga membuka peluang untuk tugas yang berjalan lama tanpa perlu terlalu khawatir dengan masalah konteks yang biasa kita hadapi.
00:01:19Tapi masalahnya, semua ini belum sepenuhnya teratasi.
00:01:22Jendela konteks 1 juta sebenarnya bagaikan pedang bermata dua.
00:01:26Meskipun memang memungkinkan Claude berjalan lebih lama dan menampung lebih banyak informasi sekaligus, semua itu ada harganya.
00:01:30Ini membuka pintu bagi "context rot" (pembusukan konteks).
00:01:32Context rot berarti performa model menurun seiring bertambahnya informasi dalam jendela konteksnya, karena dengan jendela konteks yang terlalu penuh, model memiliki lebih banyak hal untuk diperhatikan dan tidak bisa tetap fokus.
00:01:42Dan dengan jendela konteks 1 juta, konteks Anda menjadi jauh lebih sesak, yang berarti ada lebih banyak informasi yang tersedia untuk mengganggu penalaran Claude daripada saat menggunakan jendela konteks 200.000.
00:01:53Context rot bukan sesuatu yang hanya terjadi pada konteks yang sangat penuh saja.
00:01:57Menurut pencipta Claude Code, context rot sebenarnya mulai terjadi sekitar 300 hingga 400.000 token, yang jauh lebih kecil dari satu juta, hanya sekitar 40% dari kapasitas.
00:02:07Jadi, berapapun ukuran jendela konteksnya, kita perlu melakukan sesuatu untuk mencegah context rot.
00:02:11Dan mengetahui hal ini akan mengubah cara Anda bekerja dengan jendela konteks 1 juta.
00:02:15Sekarang, rekap singkat.
00:02:16Jendela konteks adalah semua yang dilihat model sekaligus, yang mencakup percakapan sejauh ini, file Claude.md, prompt sistem, file yang dibaca ke dalam sesi, dan setiap output panggilan alat (tool call).
00:02:26Setiap prompt menambah lebih banyak lagi, dan setelah jendela penuh, Anda melakukan peringkasan untuk melanjutkannya dengan jendela yang lebih segar, inilah yang disebut pemadatan.
00:02:32Jika Anda tidak mengelola konteks dengan benar, ada empat cara di mana agen Anda bisa gagal.
00:02:37Ini menjadi lebih nyata dan bermasalah pada agen yang berjalan dalam waktu lama.
00:02:40Polusi konteks adalah yang pertama, yang sudah kita bahas dan menjelaskan mengapa hal itu terjadi.
00:02:45Penyimpangan tujuan (goal drift) adalah yang kedua.
00:02:46Ini terjadi ketika agen Anda menyimpang dari apa yang seharusnya dikerjakan karena memiliki terlalu banyak hal untuk difokuskan saat ini, atau dengan kata lain, ia telah melupakan tujuan yang seharusnya ia kerjakan.
00:02:55Ini mungkin sering terjadi jika Anda bekerja dengan Claude Code, di mana Anda ingin UI Anda terlihat dengan cara tertentu dan sudah menentukannya, tetapi ia tidak mengikutinya dan Anda harus mengingatkannya kembali tentang tujuan yang sebenarnya.
00:03:05Korupsi memori adalah yang ketiga, dan ini terjadi ketika selama eksekusi, status internal atau fakta yang disimpan agen menjadi tidak benar, dan ia terus bertindak berdasarkan status yang salah tersebut.
00:03:14Seringkali sulit untuk menentukan penyebab pastinya saat agen berjalan dalam jangka waktu lama, menjadi tidak jelas di mana kesalahan itu berasal.
00:03:21Sebagai contoh, korupsi memori bisa terlihat seperti sebuah file yang ditulis dengan cara tertentu oleh agen itu sendiri, lalu dimodifikasi oleh sub-agen yang tidak ada dalam konteks saat ini.
00:03:29Agen tersebut merujuk kembali ke memori lamanya sendiri dan terus beroperasi seolah-olah file tersebut masih ada dalam bentuk yang aslinya ia buat.
00:03:37Ketidakakuratan keputusan adalah yang terakhir.
00:03:39Ini terjadi ketika agen membuat pilihan yang kontradiktif dalam situasi yang hampir identik, seperti menggunakan satu pola penanganan kesalahan di satu tempat dan pola yang berbeda di tempat lain.
00:03:48Semua masalah ini terjadi ketika konteks tidak dikelola dengan baik dan berdampak pada performa jangka panjang agen.
00:03:53Ini adalah faktor-faktor yang coba dioptimalkan oleh sebagian besar sistem agen.
00:03:57Jadi setelah Anda meminta Claude melakukan sesuatu dan selesai, sebenarnya ada lima pilihan yang mungkin terjadi selanjutnya dalam hal instruksi Anda berikutnya.
00:04:06Masing-masing tergantung pada apa prompt Anda berikutnya.
00:04:08Jika Anda menggunakan setiap pilihan dengan benar, cara Anda bekerja dengan Claude dapat meningkat pesat.
00:04:12Meskipun pilihan yang paling wajar adalah hanya melanjutkan, opsi lain sebenarnya membantu Anda mengelola konteks dengan lebih efektif.
00:04:18Jadi, Anda perlu memutuskan dengan hati-hati apakah Anda benar-benar ingin melanjutkan di alur yang sama atau memulai sesi baru.
00:04:24Setelah konteks menjadi terlalu penuh, Anda memiliki dua cara untuk mengosongkannya, dan pilihan pertama adalah pemadatan, yang telah kita jelaskan sebagai peringkasan dari konten yang ada.
00:04:32Namun, Anda harus jelas tentang kapan Anda benar-benar ingin meringkas karena ringkasan itu bersifat lossy (kehilangan data) dan banyak detail yang mungkin terlihat penting bagi Anda tetapi tidak penting bagi Claude bisa saja terhapus.
00:04:41Hasilnya, konteks penting mungkin tidak lagi ada di jendela konteks.
00:04:44Lebih baik Anda mengontrol pemadatan sendiri daripada membiarkan Claude melakukan pemadatan otomatis, karena ketika dipicu di tengah tugas, pemadatan menjadi lebih berantakan.
00:04:52Ia cenderung mempertahankan apa yang dianggap penting dan menghapus semua yang menurutnya tidak diperlukan, jadi Claude sebenarnya paling tidak bisa diandalkan selama proses pemadatan.
00:05:00Pada titik itu, fokus Claude murni pada peringkasan dan ia dilepaskan dari konteks pendukung seperti prompt sistem dan elemen lain yang biasanya membuatnya lebih cakap.
00:05:08Ia kemudian sangat bergantung pada asumsi sendiri tentang apa yang penting, yang sering kali mengarah pada keputusan pemadatan yang buruk.
00:05:14Pemadatan yang buruk biasanya terjadi ketika model tidak dapat menentukan arah kerja Anda dengan jelas.
00:05:19Sebagai contoh, jika Anda berada dalam sesi debugging yang panjang dan ada peringatan yang ditemui sebelumnya setelah pemadatan otomatis, jika Anda memintanya untuk memperbaiki peringatan tertentu itu, ia tidak akan tahu peringatan apa yang Anda bicarakan.
00:05:29Ini terjadi karena sesi difokuskan pada debugging secara keseluruhan, jadi hanya ringkasan umum dari aktivitas debugging yang dipertahankan dan peringatan spesifik dianggap sebagai gangguan dan dibuang.
00:05:39Bias resensi (recency bias) memperburuk keadaan.
00:05:41Ketika pemadatan dipicu, prompt memprioritaskan untuk mempertahankan detail terbaru dari apa yang sedang dikerjakan.
00:05:46Jadi informasi yang lebih lama tetapi masih penting mungkin diabaikan atau ditinggalkan.
00:05:50Jika ada sesuatu yang dilakukan salah sebelumnya, model mungkin tidak lagi menyadarinya setelah pemadatan.
00:05:54Ia hanya memiliki akses ke ringkasan tingkat transkrip, bukan status penuh proyek, karena riwayat panggilan alat tidak sepenuhnya dipertahankan selama pemadatan.
00:06:01Anda dapat mengatur flag untuk mengontrol kapan pemadatan otomatis terjadi, tetapi ini adalah sesuatu yang harus Anda kelola secara aktif lebih sering.
00:06:07Piculah pemadatan di sekitar kisaran 300.000 hingga 400.000 yang disebutkan oleh sang pencipta, karena biasanya di situlah context rot mulai muncul, dan selalu berikan instruksi pemadatan sendiri, karena Claude merespons dengan lebih hati-hati ketika instruksi eksplisit disertakan.
00:06:22Beri tahu ia keputusan, batasan, dan masalah yang ditemukan mana yang harus dibawa ke depan agar ia tahu apa yang harus diprioritaskan.
00:06:27Jadi, Anda harus menekan "compact" ketika Anda benar-benar ingin konteks dari alur tugas sebelumnya terbawa ke jendela baru, bukan saat Anda ingin memulai awal yang segar.
00:06:34Namun sebelum kita bergerak maju, mari kita dengarkan pesan dari sponsor kita.
00:06:37Verdant, platform berbasis AI yang membantu pengembang mengubah ide menjadi produk yang siap diluncurkan.
00:06:41Anda sedang di tengah proses pembuatan, akhirnya dalam zona fokus, dan kredit Anda habis.
00:06:45AI Anda berhenti mendadak, momentum hilang.
00:06:47Setiap alat AI coding melakukan ini kepada Anda, tetapi Verdant tidak.
00:06:50Saat kredit Anda mencapai nol, cukup beralih ke mode "eco", mode tanpa biaya yang membuat AI Anda tetap berjalan tanpa mengeluarkan uang lagi.
00:06:56Tanpa gangguan, tanpa top-up, tanpa kehilangan momentum.
00:06:59Anda cukup terus membangun.
00:07:00Dan ketika Anda memiliki kredit, Anda tidak terjebak memilih antara Claude, GPT, atau Gemini.
00:07:04Mode "multi-plan" Verdant menjalankan ketiganya secara bersamaan seperti komite pengambil keputusan, memberi Anda rencana yang lebih baik tanpa kecemasan akan model AI.
00:07:10Ingin lebih banyak fleksibilitas?
00:07:11BYOK (Bring Your Own Key) memungkinkan Anda mencolokkan kunci API Anda sendiri langsung ke Verdant.
00:07:15Gunakan kredit Claude atau GPT perusahaan Anda, tanpa biaya platform.
00:07:18Anda hanya membayar untuk apa yang Anda gunakan.
00:07:20Anda mendapatkan 100 kredit dan 7 hari untuk mencobanya.
00:07:23Klik tautan di komentar yang disematkan dan coba Verdant secara gratis.
00:07:26Pilihan kedua adalah menggunakan perintah "clear", yang menghapus semua konteks dan memulai sesi baru dengan jendela kosong.
00:07:32Berbeda dengan pemadatan, tidak ada yang dibawa ke depan, dan hanya apa yang Anda sediakan setelahnya yang tetap berada di jendela konteks.
00:07:37Sama seperti pemadatan, Anda tidak boleh menggunakan "clear" hanya saat Anda kehabisan konteks.
00:07:41Jika Anda beralih ke tugas yang tidak terkait, sangat mudah untuk mengosongkan sesi dan mulai dari awal, sehingga tugas sebelumnya tidak mengganggu yang baru.
00:07:49Sebagai contoh, jika Anda meminta agen untuk menulis kasus uji untuk aplikasi yang sedang Anda kerjakan, Anda mungkin tidak ingin ia menyimpan detail tentang bagaimana kasus uji tersebut dibuat.
00:07:57Daripada melanjutkan debugging dalam konteks yang sama, Anda bisa memulai sesi baru.
00:08:01Dengan cara ini, Claude dapat bekerja pada debugging aplikasi Anda dengan lebih efektif tanpa terpengaruh oleh bagaimana ia sebelumnya membuat kasus uji.
00:08:08Sekarang ada pendekatan lain yang bisa Anda gunakan yaitu menggabungkan "clear" dan pemadatan.
00:08:12Ini memungkinkan Anda untuk mempertahankan hanya apa yang Anda inginkan dan membuang sisanya.
00:08:16Idenya adalah menggunakan format JSON terstruktur yang menangkap informasi yang ingin Anda simpan.
00:08:21Anda dapat membuat perintah khusus agar dapat sering digunakan kembali.
00:08:24Dalam perintah itu, Anda dapat menyertakan struktur JSON yang berisi tugas penuh, status saat ini, batasan, masalah yang ditemukan, dan detail relevan lainnya yang Anda ingin Claude simpan, lalu perintahkan ia untuk menyimpan ini ke dalam file.
00:08:35Pendekatan ini memungkinkan Anda mendapatkan yang terbaik dari kedua metode.
00:08:38Setelah Anda menjalankan perintah tersebut, ia akan menganalisis seluruh percakapan dan status aplikasi saat ini, sesuatu yang tidak dapat dipertahankan secara andal oleh pemadatan biasa, dan menyimpan semuanya ke dalam file sesuai spesifikasi.
00:08:48Skema jauh lebih ketat daripada prosa, jadi ketika Claude mengikuti struktur yang ditentukan, ia dapat merepresentasikan apa yang penting dengan lebih konsisten dan akurat.
00:08:56Setelah informasi disimpan ke file, Anda dapat dengan aman menggunakan perintah "clear" untuk menghapus semuanya dari jendela konteks.
00:09:02Kemudian Anda dapat memulai sesi baru dan menginstruksikan Claude untuk merujuk kembali ke dokumen tersebut guna mengumpulkan konteks dan mengimplementasikan tugas berikutnya dari sana.
00:09:14Seperti disebutkan sebelumnya, seiring bertambahnya konteks, fokus agen dapat melayang karena ada lebih banyak informasi yang bersaing untuk mendapatkan perhatian, dan ini bahkan lebih terlihat dengan jendela konteks 1 juta.
00:09:23Praktik ini membantu mengatasi masalah penyimpangan tujuan dan masalah ketidakkonsistenan keputusan yang telah kita bahas sebelumnya.
00:09:29Daripada terus maju dalam tugas yang berjalan lama, ada baiknya untuk berhenti secara berkala dan meminta agen untuk merangkum apa yang telah dilakukan sejauh ini, beserta batasan dan faktor penting lainnya.
00:09:39Saat Anda melakukan ini, itu memperkuat tujuan asli dan membawa detail penting kembali ke bagian konteks yang lebih baru, daripada membiarkannya terkubur di bagian yang lama.
00:09:48Ini membantu memastikan informasi penting tetap segar dalam konteks kerja agen dan tidak mudah hilang selama pemadatan atau terencerkan seiring waktu,
00:09:56sehingga agen tetap lebih selaras dengan tugas yang harus dilakukan dan mempertahankan konsistensi yang lebih baik dalam keputusannya.
00:10:02Selain itu, jika Anda menikmati konten kami, pertimbangkan untuk menekan tombol "hype", karena itu membantu kami membuat lebih banyak konten seperti ini dan menjangkau lebih banyak orang.
00:10:09Sub-agen mungkin tidak terlihat seperti apa-apa, tetapi mereka sebenarnya cara yang sangat penting untuk mengelola konteks.
00:10:14Setiap sub-agen adalah instans independen, dengan jendela konteks khusus, akses penuh ke alat, dan izin yang diperlukan untuk menyelesaikan tugasnya.
00:10:22Mereka mengeksekusi pekerjaan yang ditugaskan dalam konteks terpisah yang disediakan oleh agen induk dan kemudian hanya mengembalikan output akhir kembali ke konteks utama.
00:10:30Jadi, semua panggilan alat yang dilakukannya, file yang dibaca, pencarian web yang dilakukan, dan penalaran sementara tetap berada dalam konteks sub-agen sendiri dan tidak mencemari jendela konteks agen utama.
00:10:40Ini adalah cara yang efektif untuk mengurangi "context rot". Tugas penelitian adalah contoh yang paling jelas.
00:10:45Agen menelusuri banyak situs web, halaman, dan sumber, dan Anda tidak ingin semua informasi mentah itu terus-menerus ditambahkan ke jendela konteks utama.
00:10:53Dalam kasus seperti itu, sub-agen dapat menangani pekerjaan secara independen dan hanya mengembalikan sintesis akhir.
00:10:58Pertanyaan kunci yang harus Anda tanyakan pada diri sendiri sebelum menggunakan sub-agen adalah apakah Anda memerlukan akses ke langkah-langkah sementara itu lagi, atau apakah Anda hanya peduli dengan hasil akhirnya.
00:11:07Claude Code juga mengelola orkestrasi sub-agen sendiri dan dapat menelurkan agen untuk menangani tugas secara otomatis.
00:11:13Namun terkadang Anda perlu secara eksplisit menentukan dalam prompt Anda bahwa Anda ingin pekerjaan didelegasikan ke sub-agen agar ditangani dalam isolasi.
00:11:20Jadi jika Anda sedang mengerjakan tugas penelitian, pemfaktoran ulang (refactoring), peringkasan, atau pembuatan dokumen, Anda harus mempertimbangkan untuk memisahkannya menggunakan sub-agen daripada agen utama Anda.
00:11:30Terakhir, "rewinding" (memutar balik) sangat penting dibandingkan sekadar mengoreksi karena itu menghapus bagian yang tidak relevan atau salah dari jendela konteks sambil hanya menyimpan status yang benar.
00:11:40Kapan pun Claude mengalami kesalahan, orang sering mencoba memintanya kembali (re-prompt) untuk mengambil pendekatan lain.
00:11:44Tetapi pilihan yang lebih baik adalah memutar balik sebagai gantinya, lalu memberikan arahan yang benar di prompt baru.
00:11:49Anda dapat menggunakan perintah "rewind" atau menekan tombol escape dua kali untuk melakukan ini.
00:11:53Setelah memutar balik, Anda juga dapat meringkas dari titik tersebut sehingga percakapan hingga tahap itu tetap terjaga sebagai konteks yang berguna sambil menghapus bagian yang menyebabkan masalah.
00:12:01Memutar balik memiliki banyak manfaat.
00:12:03Pertama, itu membersihkan jendela konteks dengan menghapus bagian di mana kesalahan terjadi, yang menghasilkan ringkasan pemadatan yang lebih bersih yang hanya mempertahankan implementasi yang benar.
00:12:12Bahkan jika Anda menyematkan informasi penting, Anda menghindari membawa bagian di mana agen menyimpang dari tujuan, yang membantu mengurangi ketidakkonsistenan keputusan dan penyimpangan tujuan.
00:12:21Jika Anda menggunakan sub-agen, memutar balik memastikan mereka menerima konteks yang lebih bersih dan akurat saat tugas diserahterimakan, sehingga pendekatan yang salah tidak disertakan dalam status kerja mereka.
00:12:30Demikian pula, jika Anda menggunakan perintah handoff, itu menangkap status aplikasi yang benar daripada yang rusak atau kedaluwarsa.
00:12:37Jadi, bangun kebiasaan untuk memutar balik daripada terus-menerus memperbaiki ke depan agar agen secara konsisten bekerja dari status yang bersih dan akurat sepanjang sesi.
00:12:45Itu membawa kita ke akhir video ini.
00:12:47Jika Anda ingin mendukung saluran ini dan membantu kami terus membuat video seperti ini, Anda dapat melakukannya dengan menggunakan tombol "super thanks" di bawah.
00:12:54Seperti biasa, terima kasih telah menonton dan sampai jumpa di video berikutnya.

Key Takeaway

Untuk mencegah 'context rot' dan degradasi performa pada Claude Code, pengguna harus aktif mengelola konteks melalui pemadatan manual, penggunaan sub-agen, dan perintah 'rewind' sebelum penggunaan mencapai ambang 300.000 hingga 400.000 token.

Highlights

Degradasi performa model atau 'context rot' mulai terjadi pada penggunaan 300.000 hingga 400.000 token, meskipun jendela konteks tersedia hingga 1 juta token.

Pemadatan otomatis sering kali bersifat 'lossy' dan tidak dapat diandalkan karena model cenderung menghapus detail penting saat mencoba meringkas di tengah tugas.

Penggunaan sub-agen memungkinkan isolasi konteks, di mana tugas penelitian atau sub-tugas dieksekusi secara terpisah tanpa membebani jendela konteks utama.

Perintah 'rewind' lebih efektif daripada mengoreksi kesalahan secara langsung, karena perintah ini menghapus riwayat yang salah dan memastikan status kerja tetap bersih.

Pemanfaatan struktur JSON untuk menyimpan status aplikasi dan instruksi penting secara manual memberikan kontrol lebih akurat dibandingkan pemadatan otomatis oleh model.

Agen yang tidak dikelola dengan benar rentan terhadap empat kegagalan utama: polusi konteks, penyimpangan tujuan, korupsi memori, dan ketidakakuratan keputusan.

Timeline

Masalah Context Rot pada Jendela 1 Juta Token

  • Jendela konteks 1 juta token memicu penurunan performa yang disebut context rot.
  • Penurunan kualitas penalaran agen mulai terasa setelah penggunaan 300.000 hingga 400.000 token.
  • Kapasitas yang terlalu besar menyebabkan model kehilangan fokus akibat terlalu banyak informasi.

Kapasitas konteks yang besar sering kali dianggap sebagai solusi mutlak, namun kenyataannya justru memperbesar potensi gangguan pada penalaran model. Context rot terjadi karena model memiliki terlalu banyak informasi untuk diproses, sehingga instruksi awal sering kali terlupakan atau terabaikan. Masalah ini tidak menunggu hingga batas 1 juta token, melainkan sudah muncul di kisaran 40% dari kapasitas tersebut.

Jenis Kegagalan Agen Akibat Manajemen Konteks

  • Manajemen konteks yang buruk menyebabkan polusi konteks, penyimpangan tujuan, korupsi memori, dan ketidakakuratan keputusan.
  • Penyimpangan tujuan terjadi ketika agen melupakan instruksi asli karena beban informasi yang terlalu tinggi.
  • Korupsi memori sering kali sulit dideteksi karena terjadi saat agen merujuk pada status internal yang tidak lagi akurat.

Agen yang berjalan dalam durasi panjang rentan terhadap berbagai kegagalan logis. Polusi konteks terjadi karena penumpukan informasi yang tidak relevan, sementara korupsi memori terjadi ketika agen mengacu pada data yang telah dimodifikasi oleh proses lain tanpa memperbarui status internalnya. Ketidakakuratan keputusan muncul saat agen memberikan respon kontradiktif dalam situasi serupa karena gagal mempertahankan pola yang konsisten.

Strategi Optimasi Konteks: Compact dan Clear

  • Pemadatan otomatis oleh model berisiko menghapus detail penting karena ketergantungan pada asumsi model.
  • Pengguna sebaiknya memicu perintah pemadatan secara manual untuk hasil yang lebih terkontrol.
  • Perintah 'clear' efektif digunakan saat beralih ke tugas baru yang tidak berhubungan untuk mencegah interferensi data.

Pemadatan otomatis cenderung bias terhadap informasi terbaru (recency bias) dan sering mengabaikan detail penting dari riwayat yang lebih lama. Pengguna disarankan untuk mengambil kendali penuh dengan memicu pemadatan secara manual pada batas 300.000-400.000 token. Saat tugas berpindah konteks, penggunaan perintah 'clear' lebih disarankan daripada melakukan pemadatan untuk memastikan sesi baru benar-benar bersih.

Teknik Tingkat Lanjut: JSON, Sub-Agen, dan Rewind

  • Penyimpanan status ke format JSON terstruktur memungkinkan pembersihan konteks tanpa kehilangan informasi krusial.
  • Sub-agen mengisolasi tugas spesifik untuk menjaga jendela konteks utama tetap bersih dari sampah data sementara.
  • Perintah 'rewind' memutar balik sesi untuk menghapus kesalahan dan memastikan status kerja tetap akurat.

Penggunaan skema JSON yang ketat untuk menyimpan status aplikasi memungkinkan transisi yang lebih handal antar sesi. Sub-agen berfungsi sebagai instans independen yang membatasi polusi konteks pada tugas penelitian atau pembuatan dokumen. Terakhir, pembiasaan menggunakan 'rewind' memastikan bahwa setiap langkah agen dibangun di atas status yang benar, menghindari akumulasi kesalahan dari langkah sebelumnya.

Community Posts

View all posts