Mengurangi Positif Palsu Guardrail Opus 5 dan Mempercepat Pipa CI/CD
makedream٢٥ يوليو ٢٠٢٦
0
Computing/Software
Comments (0)
Log in to leave a comment
No posts yet
makedreammakedreamLog in to leave a comment
No posts yet
Menghubungkan Opus 5 ke CI/CD produksi akan membuat Anda mengalami hambatan sejak minggu pertama. Begitu logika komunikasi soket atau verifikasi izin dimasukkan, guardrail keamanan akan memblokirnya pada tingkat pemicu 85%. Saat menganalisis perilaku Anthropic API guardrail, ditemukan bahwa untuk permintaan teks sederhana, kode kontrol soket dan sistem berkas yang normal salah teridentifikasi sebagai kode ancaman sebesar 28,5% dari waktu yang ada.
Satu guardrail yang salah dimasukkan dapat menggagalkan build dan hanya menumpuk biaya percobaan ulang (retry). Berikut adalah rangkuman struktur prompt dan metode manajemen status agen yang digunakan untuk menyelesaikan masalah ini secara langsung di lapangan.
Alasan guardrail terpicu adalah karena model tidak mengetahui konteks eksekusi kode. Dengan memperjelas batas sandbox saat memanggil API dan membatasi format pengembalian, Anda dapat mengurangi tingkat positif palsu secara drastis.
SAFETY_CONTEXT_BOUNDARIES di bagian paling atas System Prompt, dan jelaskan fakta bahwa tugas pembuatan kode dijalankan secara eksklusif di dalam lingkungan build CI/CD yang terisolasi.status, file_path, generated_code, dan imports.`json
{
"$schema": "http://json-schema.org/draft-07/schema#",
"type": "object",
"properties": {
"status": { "type": "string", "enum": ["success", "abstracted_retry"] },
"file_path": { "type": "string" },
"generated_code": { "type": "string" },
"imports": { "type": "array", "items": { "type": "string" } }
},
"required": ["status", "file_path", "generated_code", "imports"],
"additionalProperties": false
}
`
Dengan menerapkan struktur ini, tingkat kegagalan build turun dari 28,5% menjadi 4,2%. Berdasarkan 1.000 kali build, biaya percobaan ulang berkurang dari 145 Dolar menjadi 82,5 Dolar, dan waktu yang dibutuhkan pipa CI/CD juga memendek dari 4,2 menit menjadi 2,4 menit.
Jika refaktor multi-berkas yang memakan waktu lebih dari 30 menit dipaksakan dalam satu sesi API tunggal, HTTP timeout akan terjadi. Ketika koneksi terputus, ratusan ribu token konteks yang telah digunakan hingga saat itu akan hilang, dan Anda harus memulai lagi dari awal. Uang terus terbuang dan pekerjaan tidak kunjung selesai.
Anda harus membagi seluruh tugas ke dalam unit terkecil dan menghubungkan penyimpanan status AST (Abstract Syntax Tree) berbasis Redis.
Dengan menerapkan manajemen status Redis AST, tingkat keberhasilan tugas multi-berkas naik dari 54,0% menjadi 94,5%. Proporsi token yang terbuang saat terjadi kegagalan juga berkurang dari 100% menjadi sekitar 12%. Inilah alasan mengapa biaya operasional bulanan API agen berkurang dari 4.500 Dolar menjadi 2.150 Dolar.
Saat membuat UI front-end atau kode rekayasa, memasukkan tangkapan layar 3D CAD yang melebihi 2048x2048 secara langsung akan menghabiskan token dalam sekejap. Lebih dari 1.650 token visi akan terbuang hanya untuk satu permintaan.
Diperlukan wrapper pra-pemrosesan yang mengekstrak metadata teks terlebih dahulu dengan pustaka ezdxf, lalu mengompres gambar sebelum dikirim.
`python
from PIL import Image
import ezdxf
def preprocess_cad_and_image(dxf_path, image_path):
# 1. Ekstraksi metadata teks DXF
doc = ezdxf.readfile(dxf_path)
layers = [layer.dxf.name for layer in doc.layers]
meta_text = f"Layers: {', '.join(layers)}, Entities: {len(doc.modelspace())}"
# 2. Downscaling gambar dan konversi hitam-putih
with Image.open(image_path) as img:
img = img.convert("L")
img.thumbnail((1024, 1024), Image.Resampling.LANCZOS)
img.save("processed_temp.jpg", "JPEG", quality=80)
return meta_text, "processed_temp.jpg"
`
Dengan menjalankan proses ini, konsumsi token visi per berkas berkurang dari 1.650 menjadi 300 token. Bahkan jika ditambahkan 180 token metadata teks, jumlah berkas yang dapat diproses dengan anggaran 300 Dolar meningkat hingga 3,6 kali lipat. Waktu tunggu respons juga dipangkas dari 8,4 detik menjadi 2,3 detik.
Memasukkan seluruh codebase yang terdiri dari ratusan ribu baris ke dalam prompt adalah tindakan membuang-buang uang. Perhatian (attention) model juga menjadi tidak fokus. Metode yang digunakan oleh Aider, alat pair programming open-source, dengan membuat peta repositori dan hanya mengambil antarmuka yang diperlukan jauh lebih praktis.
Anda dapat membuat CLI yang mengekstrak hanya tanda tangan (signature) simbol utama dengan mengombinasikan parser sintaks Tree-sitter dan algoritma Personalized PageRank.
.git/hooks/pre-commit.Jika proses ini dihubungkan ke Git Pre-commit Hook, ukuran konteks yang disuntikkan saat komit atau eksekusi pipa CI akan tetap stabil di antara 1.000 hingga 2.000 token dari yang sebelumnya ratusan ribu token. Biaya token masukan akan terpotong lebih dari 80%.