Untuk Manajer Teknis yang Memilih Model AI Berdasarkan Skor Benchmark

Jika Anda seorang manajer teknik, kemungkinan besar hal pertama yang Anda periksa adalah papan peringkat Hugging Face atau skor MMLU. Mari kita jujur. Angka-angka tersebut tidak relevan dengan pekerjaan praktis. Benchmark akademik sama sekali tidak mencerminkan pengetahuan domain yang kompleks di internal perusahaan atau gaya bahasa (tone-and-manner) khas perusahaan Anda. Menurut riset GSM1K dari Scale AI, ketika kontaminasi data dihilangkan, kemampuan penalaran matematika model turun hingga 13%. Indikator umum hanyalah sarana untuk memeriksa apakah model telah menghafal data, bukan memberi tahu Anda bagaimana model akan berperforma di lingkungan produksi Anda.

Membuat Dataset Emas dengan Kumpulan Pertanyaan Tugas Internal

Agar tidak membuang-buang anggaran, Anda harus menetapkan kriteria evaluasi berdasarkan data kerja nyata yang telah ditangani tim selama 3 bulan terakhir.

Pilih 20 contoh tugas yang sering dilakukan di dalam tim, seperti ringkasan email atau refactoring kode.
Buat pasangan pertanyaan yang disempurnakan dan jawaban ideal untuk setiap kasus.
Susun pertanyaan yang terdiri dari 40% permintaan normal, 30% permintaan yang melanggar kebijakan, dan 30% kasus tepi (edge case) di mana model cenderung melakukan kesalahan.

Jawaban ideal yang ditulis oleh pengembang senior menjadi aturan bisnis yang jelas dengan sendirinya. Dataset yang dimulai dengan 20 entri ini nantinya dapat dikembangkan menjadi rangkaian pengujian regresi dengan 150 entri atau lebih.

Skrip Evaluasi yang Memanfaatkan LLM sebagai Penilai

Mustahil bagi manusia untuk membaca dan menilai jawaban model satu per satu. Tulislah skrip Python yang memanfaatkan GPT-4o atau Claude 3.5 Sonnet sebagai penilai (Judge).

`python

LLM-as-a-Judge 평가 예시

def evaluate_response(question, response):
prompt = f"""
아래 답변을 다음 3가지 기준으로 0점에서 1점 사이로 채점하라:
1. 정확성: 정보가 사실인가?
2. 제약조건 준수: 요청한 형식을 지켰는가?
3. 어조 일치: 사내 가이드라인에 부합하는가?

질문: {question}
답변: {response}
"""
# API 호출 및 결과 반환

Untuk mencegah bias posisi, acak urutan pertanyaan setiap saat. Shopify menginternalisasi infrastruktur evaluasi cerdas ini, yang meningkatkan kecepatan validasi skenario kotak masuk sebesar 62% dan menjaga konsistensi respons di atas 93%.

Menambahkan Otomatisasi Evaluasi ke Pipa CI/CD

Memeriksa kualitas secara manual setiap kali mengganti model adalah buang-buang waktu.

Gunakan alat seperti DeepEval atau Promptfoo untuk menulis kode pengujian.
Hubungkan ke GitHub Actions agar dataset emas berjalan secara otomatis setiap kali ada PR yang diunggah.
Atur agar build gagal jika skor rata-rata turun di bawah 0,85.

Dengan rutinitas ini, seperti Duolingo yang memangkas sumber daya QA manual hingga 70%, tim Anda juga dapat mengurangi waktu pengujian regresi yang terjadi setiap kali ada peningkatan model sebesar 80%. Sekarang, Anda dapat memvalidasi kelayakan penerapan model secara kuantitatif dalam waktu 2 minggu. Memikirkannya lebih lama dari itu adalah hal yang tidak efisien.

Untuk Manajer Teknis yang Memilih Model AI Berdasarkan Skor Benchmark

Membuat Dataset Emas dengan Kumpulan Pertanyaan Tugas Internal

Agar tidak membuang-buang anggaran, Anda harus menetapkan kriteria evaluasi berdasarkan data kerja nyata yang telah ditangani tim selama 3 bulan terakhir.

Pilih 20 contoh tugas yang sering dilakukan di dalam tim, seperti ringkasan email atau refactoring kode.

Buat pasangan pertanyaan yang disempurnakan dan jawaban ideal untuk setiap kasus.

Susun pertanyaan yang terdiri dari 40% permintaan normal, 30% permintaan yang melanggar kebijakan, dan 30% kasus tepi (edge case) di mana model cenderung melakukan kesalahan.

LLM-as-a-Judge 평가 예시

질문: {question} 답변: {response} """ # API 호출 및 결과 반환

Menambahkan Otomatisasi Evaluasi ke Pipa CI/CD

Memeriksa kualitas secara manual setiap kali mengganti model adalah buang-buang waktu.

Gunakan alat seperti DeepEval atau Promptfoo untuk menulis kode pengujian.

Hubungkan ke GitHub Actions agar dataset emas berjalan secara otomatis setiap kali ada PR yang diunggah.

Atur agar build gagal jika skor rata-rata turun di bawah 0,85.

Untuk Manajer Teknis yang Memilih Model AI Berdasarkan Skor Benchmark

관련 영상

Apakah Benchmark AI Itu Palsu!?

Untuk Manajer Teknis yang Memilih Model AI Berdasarkan Skor Benchmark

Membuat Dataset Emas dengan Kumpulan Pertanyaan Tugas Internal

Skrip Evaluasi yang Memanfaatkan LLM sebagai Penilai

LLM-as-a-Judge 평가 예시

Menambahkan Otomatisasi Evaluasi ke Pipa CI/CD

커뮤니티의 다른 글

사내 시스템에 llm api 붙일 때 마주하는 현실적인 한계와 대응법

레거시 백엔드에 GPT-6 Astra 붙일 때 예산 승인과 보안 통과를 먼저 끝내는 법이 있습니다

에이전트끼리 대화하다 6천만 원 청구서가 나오는 이유

사내 RAG 벡터 검색에 Okta 권한 필터를 직접 거는 방법

브라우저 에이전트에게 내 구글 계정을 통째로 넘기면 안 되는 이유

Apple Won the AI Race

댓글 (0)

Untuk Manajer Teknis yang Memilih Model AI Berdasarkan Skor Benchmark

Membuat Dataset Emas dengan Kumpulan Pertanyaan Tugas Internal

Skrip Evaluasi yang Memanfaatkan LLM sebagai Penilai

LLM-as-a-Judge 평가 예시

Menambahkan Otomatisasi Evaluasi ke Pipa CI/CD