원본 영상을 바탕으로 AI의 도움을 받아 작성했습니다. 원본 영상이 기준입니다.
Log in to leave a comment
아직 작성된 글이 없습니다
Anda mungkin pernah mengalami kekecewaan setelah menerapkan model dengan presisi tinggi hanya karena melihat skor benchmark-nya. Begitu kapasitas VRAM terlampaui, sebagian bobot akan terdorong ke RAM sistem, dan terjadinya swapping bus PCIe akan membuat kecepatan pembuatan token merosot hingga kurang dari 1 token per detik.
Berdasarkan lingkungan RTX 4090, menggunakan format GGUF Q4_K_M memakan memori bobot sebesar 18,3 GB dan total VRAM 22,1 GB berdasarkan konteks 8K untuk dapat berjalan secara stabil.
Total memori harus dihitung dengan menjumlahkan memori bobot, cache KV, dan overhead framework agar mendapatkan jawabannya. Bobot dihitung dengan mengalikan jumlah parameter dengan bit efektif kuantisasi lalu dibagi 8, di mana format EXL2 4.0 bpw memakan 0,50 byte per parameter. Jika ditambah dengan cache KV yang membengkak sesuai panjang konteks serta overhead framework lebih dari 1,5 GB, Anda memerlukan setidaknya ruang kosong 2 GB untuk menghindari error OOM.
Langkah 1, periksa kapasitas VRAM GPU Anda sendiri dan hitung tingkat penggunaan bobot serta cache KV. Langkah 2, unduh file model berformat GGUF Q4_K_M atau EXL2 4.0 bpw dan pasang di lingkungan lokal. Langkah 3, pastikan secara langsung dalam waktu 30 menit apakah kecepatan pembuatan token tetap terjaga di atas 30 token per detik saat memasukkan prompt 8K atau lebih. Melalui proses ini, Anda dapat memilih model yang benar-benar berjalan di perangkat Anda tanpa terpengaruh oleh angka benchmark.
Model open-source di bawah 30B sering kali membuat kesalahan seperti melewatkan tanda kurung siku atau menyisipkan tag markdown ketika diminta membuat struktur JSON yang rumit. Anda tidak akan bisa tidur nyenyak di malam hari jika seluruh alur backend berhenti hanya karena model memberikan jawaban yang melenceng. Anda harus memaksa sintaks sejak tahap pembuatan token dan menulis kode pertahanan untuk menangkap error penguraian (parsing) di tingkat aplikasi.
Di lingkungan llama.cpp, Anda harus menetapkan tata bahasa GBNF dan menggunakan Guided Decoding di vLLM untuk mencegah pembuatan token yang tidak sesuai dengan skema. Integrasikan pustaka Pydantic untuk mengikat output model ke model data, dan buat loop umpan balik di mana jika terjadi JSONDecodeError, isi yang error tersebut dimasukkan kembali ke riwayat percakapan untuk mendorong model memperbaikinya sendiri. Untuk mencegah infinite loop, batasi jumlah percobaan hingga 3 kali, dan arsitektur fallback yang mengeluarkan objek mode aman statis jika masih gagal adalah hal yang wajib.
Langkah 1, gunakan Pydantic untuk membuat kelas skema validasi yang berisi field wajib dan tipe data. Langkah 2, gabungkan ekspresi reguler (regex) dan blok penanganan pengecualian untuk menyaring hanya string JSON asli dari respons mentah model dan menangkap error penguraian secara real-time. Langkah 3, masukkan logika percobaan ulang dengan pustaka tenacity, dan kembalikan data fallback statis jika gagal hingga akhir untuk mencegah penghentian layanan. Dengan menerapkan struktur ini, tingkat kepatuhan skema pemanggilan alat dapat ditingkatkan hingga 95% atau lebih.
Saat mengekstrak kode antarmuka web secara otomatis atau merangkum data dari file transkrip berukuran besar, model di bawah 30B menunjukkan keterbatasan dengan melewatkan semua konten di tengah. Anda perlu mengekang system prompt agar model tidak mengoceh dengan permintaan maaf yang tidak berguna atau komentar markdown, serta memaksa hasil keluar secara persis sesuai struktur yang Anda inginkan.
Anda harus menanamkan skema output dan batasan ke dalam system prompt agar model bekerja seperti sebuah kompiler. Dokumen yang terdiri dari puluhan halaman harus dipotong dalam unit 2.000 token yang disesuaikan dengan panjang konteks aman maksimum model, dan 200 token terakhir dari chunk sebelumnya harus ditambahkan tumpang tindih di awal chunk berikutnya untuk mencegah data batas terbuang. Hasil yang berguna hanya akan didapatkan setelah melalui fase map untuk mengekstrak data dari masing-masing chunk dan fase reduce untuk menggabungkannya ke dalam satu struktur tunggal.
Langkah 1, buat templat system prompt untuk memblokir output salam dan tanamkan batasan spesifik seperti penggunaan kelas Tailwind CSS. Langkah 2, bagi dokumen input dengan metode sliding window yang mencakup area tumpang tindih sebesar 10%. Langkah 3, buat LLMProviderInterface yang menerapkan Strategy Pattern untuk merampungkan lapisan abstraksi agar mesin model dapat dengan mudah diganti saat diperlukan. Menerapkan proses ini dapat menghemat waktu debugging yang tidak perlu hingga lebih dari 5 jam per minggu.
