Apa Tugas AI Engineer Saat Ini? - Aparna Dhinakaran, Arize AI
Original · What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
Key Takeaway
Insinyur AI masa kini tidak lagi sekadar menulis fitur atau meninjau kode secara manual, melainkan membangun sistem dan pabrik agen yang aktif sepanjang waktu untuk membaca data telemetri, mengevaluasi model, dan meningkatkan produk secara mandiri.
Highlights
Sekitar 5.000 pengguna di Frontier Labs menjalankan ribuan agen AI secara bersamaan sepanjang waktu.
Tugas insinyur AI bergeser dari sekadar menulis fitur tunggal menjadi membangun siklus utuh yang mencakup pembuatan, evaluasi, perilisan, pemantauan, dan peningkatan sistem.
Signal dari Arize adalah agen yang aktif membaca data telemetri dan jejak (traces) untuk mengidentifikasi masalah secara otomatis serta mengajukan perbaikan kode (PR).
Evaluasi (eval) dalam sistem AI memerlukan penyelarasan yang ketat dengan penilaian manusia untuk memastikan keandalan pengujian offline maupun online.
Timeline
Perubahan Peran dan Lanskap Insinyur AI
Referensi data dari tweet Karpathy menunjukkan kesenjangan antara miliaran pengguna kasual LLM dan segelintir profesional di Frontier Labs yang mengoperasikan ribuan agen sekaligus. Abstraksi teknologi berkembang pesat dari penulisan kode tingkat tinggi hingga pemanfaatan agen lokal dan cloud. Perubahan ini menuntut insinyur AI untuk membangun sistem otomatis yang mampu melakukan peninjauan kode, evaluasi non-deterministik, dan analisis telemetri tanpa intervensi manual penuh.
- Definisi pekerjaan seorang insinyur AI terus berubah seiring meningkatnya lapisan abstraksi teknologi.
- Sebagian kecil pengguna di Frontier Labs saat ini menjalankan ribuan agen secara aktif sepanjang waktu.
- Fokus kerja bergeser dari penulisan kode manual menuju pembangunan siklus sistem dan agen peninjau.
Automasi Siklus dengan Agen Signal
Arize mengembangkan Signal sebagai agen aktif yang menyerap data telemetri untuk menemukan masalah sistem dan membuat pull request (PR) secara otomatis. Sistem ini digerakkan oleh berbagai pemicu dan memanfaatkan sandbox yang dikontrol melalui satu proksi tunggal demi keamanan. Seluruh riwayat masalah disimpan dalam memori agar agen dapat mengingat temuan sebelumnya, sementara komponen yang tidak perlu akan dihapus setelah eksekusi selesai guna menjaga ketahanan sistem.
- Signal membaca jejak (traces) dan telemetri secara berkala untuk mendeteksi pola masalah.
- Agen dirancang untuk aktif berdasarkan pemicu seperti waktu berkala, pesan Slack, atau metrik tertentu.
- Setiap eksekusi agen berjalan di dalam sandbox terisolasi yang mengamankan kredensial dan mencatat seluruh keluaran ke dalam memori.
Evaluasi Kualitas dan Penyelarasan Penilaian
Pengujian keluaran agen memerlukan eval yang selaras dengan penilaian manusia untuk membangun kepercayaan terhadap sistem otomatis. Tim pengembang menghabiskan banyak waktu menyusun golden dataset guna memverifikasi keakuratan evaluator sebelum diterapkan. Siklus ini menyatukan pengujian offline dan online, mentransformasikan data produksi menjadi landasan bagi agen untuk mendeteksi celah dan meningkatkan performa sistem secara berkelanjutan.
- Insinyur AI harus menguasai pembuatan evaluasi (eval) untuk menguji hasil keluaran agen.
- Evaluator diuji terhadap golden dataset manusia untuk memastikan keselarasan penilaian sebelum dirilis.
- Data telemetri produksi diubah menjadi eval online untuk terus memantau dan memperbaiki sistem.
Description
Aparna Dhinakaran of Arize AI revisits what an AI engineer actually does as the field moves from writing features to running factories of agents. The job now is building the loop: evals that review non-deterministic work, telemetry that agents consume, and agents that act on it. She walks through how Arize built Signal, an always-on agent that reads traces, remembers past issues and opens PRs, covering triggers, sandboxes, durable state, and evaluating the evaluators. Chapters 00:00 Intro: what does an AI engineer do? 00:38 Karpathy's funnel: who's running thousands of agents 01:45 Rising abstraction, from code to agent factories 02:23 Then vs now: build the loop, not the feature 03:31 Signal: an always-on agent for your traces 04:45 Agents are now the main consumers of telemetry 05:19 What triggers an always-on agent 06:01 Inside a run: context, sandbox, proxy 07:11 What persists and what gets torn down 08:13 Designing durable agents 09:14 Model and harness agnostic 10:21 Writing evals, and evaluating the evaluators 12:48 Trace everything, including your coding agents 14:17 Closing the gap between labs and businesses Aparna Dhinakaran, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!