Written with AI assistance from the source video. The video is the authority.
5:39Better Stack
Log in to leave a comment
No posts yet
Jika Anda seorang manajer teknik, kemungkinan besar hal pertama yang Anda periksa adalah papan peringkat Hugging Face atau skor MMLU. Mari kita jujur. Angka-angka tersebut tidak relevan dengan pekerjaan praktis. Benchmark akademik sama sekali tidak mencerminkan pengetahuan domain yang kompleks di internal perusahaan atau gaya bahasa (tone-and-manner) khas perusahaan Anda. Menurut riset GSM1K dari Scale AI, ketika kontaminasi data dihilangkan, kemampuan penalaran matematika model turun hingga 13%. Indikator umum hanyalah sarana untuk memeriksa apakah model telah menghafal data, bukan memberi tahu Anda bagaimana model akan berperforma di lingkungan produksi Anda.
Agar tidak membuang-buang anggaran, Anda harus menetapkan kriteria evaluasi berdasarkan data kerja nyata yang telah ditangani tim selama 3 bulan terakhir.
Jawaban ideal yang ditulis oleh pengembang senior menjadi aturan bisnis yang jelas dengan sendirinya. Dataset yang dimulai dengan 20 entri ini nantinya dapat dikembangkan menjadi rangkaian pengujian regresi dengan 150 entri atau lebih.
Mustahil bagi manusia untuk membaca dan menilai jawaban model satu per satu. Tulislah skrip Python yang memanfaatkan GPT-4o atau Claude 3.5 Sonnet sebagai penilai (Judge).
`python
def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?
질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환
`
Untuk mencegah bias posisi, acak urutan pertanyaan setiap saat. Shopify menginternalisasi infrastruktur evaluasi cerdas ini, yang meningkatkan kecepatan validasi skenario kotak masuk sebesar 62% dan menjaga konsistensi respons di atas 93%.
Memeriksa kualitas secara manual setiap kali mengganti model adalah buang-buang waktu.
Dengan rutinitas ini, seperti Duolingo yang memangkas sumber daya QA manual hingga 70%, tim Anda juga dapat mengurangi waktu pengujian regresi yang terjadi setiap kali ada peningkatan model sebesar 80%. Sekarang, Anda dapat memvalidasi kelayakan penerapan model secara kuantitatif dalam waktu 2 minggu. Memikirkannya lebih lama dari itu adalah hal yang tidak efisien.