Was macht ein AI Engineer heute? - Aparna Dhinakaran, Arize AI
원제 · What Does an AI Engineer Do Now? - Aparna Dhinakaran, Arize AI
핵심 요약
Die Rolle des KI-Ingenieurs wandelt sich von der reinen Feature-Programmierung hin zum Aufbau automatisierter Agenten-Schleifen, die Telemetriedaten auswerten und Systeme kontinuierlich optimieren.
하이라이트
Karpathy unterscheidet einen Trichter von sechs Milliarden LLM-Nutzern weltweit bis zu lediglich 5.000 Anwendern in Frontier-Laboren, die tausende von KI-Agenten parallel betreiben.
Die Hauptaufgabe eines KI-Ingenieurs verschiebt sich von der Entwicklung einzelner Features hin zum Bau von Agenten-Schleifen, die den gesamten Entwicklungszyklus automatisieren.
Das Arise-Tool Signal liest automatisch Telemetriedaten und Traces, identifiziert Muster und erstellt eigenständig Pull Requests zur Fehlerbehebung.
Jeder Agentenlauf erfolgt isoliert in einer Sandbox, wobei sämtliche Ein- und Ausgaben über einen einzigen Proxy gesteuert werden.
Die Qualität von KI-Systemen hängt maßgeblich davon ab, Evaluatoren gegen Goldstandard-Datensätze zu testen und mit dem menschlichen Urteil abzugleichen.
타임라인
Die neue Landschaft der KI-Entwicklung und das Agenten-Ökosystem
Die Definition eines KI-Ingenieurs unterliegt einem ständigen Wandel, der durch die fortlaufende Vergrößerung des Abstands zwischen normalen Anwendern und fortgeschrittenen Laboren geprägt ist. Während Milliarden Menschen mit LLMs in Kontakt kommen und Millionen diese für professionelle Aufgaben nutzen, arbeitet nur ein winziger Bruchteil an der vordersten Front mit massiven Agentenschwärmen. Diese Entwicklung spiegelt den Trend wider, dass Abstraktionsschichten immer höher steigen und Ingenieure zunehmend Agententeams intern steuern.
- Karpathys Trichter zeigt eine große Diskrepanz zwischen Milliarden Gelegenheitsnutzern und nur 5.000 Entwicklern in Frontier-Laboren.
- Die Abstraktionsschicht in der Softwareentwicklung hat sich in den letzten Jahren rasant von Programmiersprachen zu lokalen und Cloud-Agenten verlagert.
- Spitzengruppen betreiben mittlerweile Fabriken aus tausenden dauerhaft aktiven Agenten gleichzeitig.
Die neue Rolle des KI-Ingenieurs beim Bau von Verbesserungsschleifen
Die Verantwortlichkeiten von KI-Ingenieuren haben sich grundlegend von der manuellen Feature-Entwicklung zu systemischen Aufgaben verschoben. Anstatt Code eigenhändig zu schreiben und zu überprüfen, richten Ingenieure Systeme ein, die Code-Reviews und die Verifizierung nicht-deterministischer Prozesse autonom ausführen. Ein konkretes Beispiel hierfür ist das Produkt Signal, das kontinuierlich Telemetriedaten und Traces analysiert, um eigenständig Verbesserungsvorschläge im Repository zu platzieren.
- Ingenieure schreiben keine einzelnen KI-Features mehr, sondern konstruieren die geschlossenen Schleifen zu deren Erstellung.
- Code-Reviews und nicht-deterministische Aufgaben werden zunehmend von spezialisierten Agenten übernommen.
- Das Arise-Tool Signal liest Traces aus der Telemetrie, erkennt Muster und generiert automatisch Code-Fixes oder Pull Requests.
Architektur und Funktionsweise dauerhaft aktiver Agenten
Dauerhaft aktive Agenten benötigen klar definierte Auslöser wie zeitliche Takte, Slack-Meldungen oder Metrik-Schwellenwerte, um ihre Arbeit aufzunehmen. Bei jedem Start wird eine isolierte Sandbox mit sämtlichen erforderlichen Kontexten, Traces und Repository-Zugriffen erstellt. Nach Abschluss des Laufs wird die Umgebung abgebaut, während gefundene Probleme in einem persistenten Speicher gesichert werden, damit der Agent bei künftigen Durchläufen auf historische Daten zugreifen kann.
- Telemetriedaten dienen primär als Konsumgut für Agenten, um automatisierte Auslöser zu triggern.
- Jeder Agentenlauf findet in einer sicheren Sandbox statt, die über einen einzigen Proxy angebunden ist.
- Erfolgreich ermittelte Probleme werden in einem externen Speicher gesichert, während temporäre Zugangsdaten nach dem Lauf verworfen werden.
Evaluierung, Modellunabhängigkeit und Qualitätskontrolle
Die Modellunabhängigkeit ermöglicht es Entwicklern, verschiedene KI-Modelle einzusetzen, um die Ausgabequalität zu bewerten und gleichzeitig die Betriebskosten zu optimieren. Ein zentraler Bestandteil der täglichen Arbeit besteht darin, Evaluatoren anhand von Goldstandard-Datensätzen gegen das menschliche Urteil abzugleichen. Durch die Kombination aus Offline-Tests bei der Entwicklung und Online-Evals in der Produktion entsteht ein geschlossenes System, das kontinuierlich Probleme aufdeckt und die Systemleistung verbessert.
- Signal unterstützt verschiedene Open-Source-Harnesses sowie unterschiedliche Modelle der Anthropic-Familie zur Kosten- und Qualitätskontrolle.
- Ingenieure müssen umfangreiche Zeit in den Aufbau von Goldstandard-Datensätzen zur Überprüfung von Evaluatoren investieren.
- Online- und Offline-Evals stellen sicher, dass automatisierte Pull Requests und Systemänderungen keine Regressionen verursachen.
설명
Aparna Dhinakaran of Arize AI revisits what an AI engineer actually does as the field moves from writing features to running factories of agents. The job now is building the loop: evals that review non-deterministic work, telemetry that agents consume, and agents that act on it. She walks through how Arize built Signal, an always-on agent that reads traces, remembers past issues and opens PRs, covering triggers, sandboxes, durable state, and evaluating the evaluators. Chapters 00:00 Intro: what does an AI engineer do? 00:38 Karpathy's funnel: who's running thousands of agents 01:45 Rising abstraction, from code to agent factories 02:23 Then vs now: build the loop, not the feature 03:31 Signal: an always-on agent for your traces 04:45 Agents are now the main consumers of telemetry 05:19 What triggers an always-on agent 06:01 Inside a run: context, sandbox, proxy 07:11 What persists and what gets torn down 08:13 Designing durable agents 09:14 Model and harness agnostic 10:21 Writing evals, and evaluating the evaluators 12:48 Trace everything, including your coding agents 14:17 Closing the gap between labs and businesses Aparna Dhinakaran, Arize AI Join us in SF for the second annual AIE CODE summit: https://aie.codes our last flagship summit of 2026. Applications live now!