요즘 AI 엔지니어는 어떤 일을 할까? - 아파르나 디나카란, Arize AI

Highlights

• 전 세계 약 5,000명의 프론티어 랩 사용자가 한 번에 수천 개가 넘는 에이전트를 동시에 실행하고 있다.

• AI 엔지니어의 핵심 업무는 개별 기능을 직접 작성하는 것에서 에이전트 구동 루프와 시스템을 구축하는 것으로 변화했다.

• 아라이즈의 시그널은 텔레메트리 데이터를 항상 켜져 있는 에이전트가 직접 읽고 패턴을 파악하여 풀 리퀘스트를 생성하는 방식으로 작동한다.

• 에이전트 실행 과정의 모든 상태와 메모리는 샌드박스 외부에 저장되어 작업 도중 하네스나 샌드박스가 실패하더라도 중단된 지점부터 다시 이어갈 수 있다.

• AI 엔지니어는 에이전트의 출력을 검증하고 인간의 판단과 일치시키기 위한 오프라인 및 온라인 평가 코드를 작성하는 법을 반드시 배워야 한다.

Timeline

1. 00:12 - 02:18

   AI 엔지니어의 정의 변화와 에이전트의 현주소

   앤드류 카파시가 제시한 깔때기 구조를 바탕으로 현재 AI 활용 수준의 격차를 조명한다. 대다수의 일반 사용자 및 전문가 단계를 지나, 최전선에서는 한 번에 수천 개의 에이전트를 동시에 구동하는 소수의 프론티어 그룹이 존재한다. 소프트웨어 역사상 추상화 레이어가 고도화된 것과 마찬가지로, 이제는 개발자 개인이 코드를 직접 작성하는 것을 넘어 에이전트 팀과 팩토리를 어떻게 운영할 것인가가 핵심 과제로 자리 잡았다.

   • AI 엔지니어의 정의는 해마다 빠르게 바뀌고 있다.
   • 수백만 명의 사용자가 LLM을 활용해 업무 속도를 높이고 있지만 수천 개의 에이전트를 동시에 운영하는 프론티어 사용자는 약 5,000명에 불과하다.
   • 추상화 레이어가 높아짐에 따라 개발 방식은 로컬 에이전트 복사·붙여넣기를 넘어 에이전트 팩토리 운영 단계로 진화하고 있다.
2. 02:18 - 04:47

   기능 구현에서 루프 구축으로의 전환

   업무의 중심이 코드 리뷰나 지표 설정 같은 단편적인 작업에서 벗어나고 있다. 비결정적인 작업을 검증할 평가 코드를 짜고, 텔레메트리 데이터를 사람이 아니라 에이전트가 직접 소비하도록 판을 짜는 것이 엔지니어의 몫이다. 아라이즈의 '시그널'은 이 철학을 구현한 도구로, 일정한 주기로 트레이스를 분석해 잠재적 문제를 찾아내고 저장소에 접근해 직접 개선안을 올리는 상시 가동형 에이전트로 동작한다.

   • AI 엔지니어의 역할은 단일 기능을 작성하는 것이 아니라 빌드, 평가, 배포, 모니터링, 개선으로 이어지는 루프 전체를 구축하는 것이다.
   • 아라이즈에서 개발한 시그널은 항상 켜져 있는 에이전트로 트레이스와 텔레메트리 데이터를 스스로 읽고 코드 수정 사항이나 풀 리퀘스트를 생성한다.
   • 에이전트는 이전에 발견한 문제들을 기억하는 메모리 기능을 바탕으로 지속적인 데이터 분석과 문제 식별을 수행한다.
3. 04:47 - 10:20

   에이전트 샌드박스 아키텍처와 안정성 확보

   에이전트를 안정적으로 구동하기 위해 철저한 보안과 상태 관리 구조가 적용된다. 샌드박스 안에서 일어나는 모든 작업은 트레이스되며, 필요한 자격 증명과 저장소 접근 권한은 실행 완료 후 깔끔하게 정리된다. 특히 하네스나 샌드박스에 오류가 발생하더라도 이전 상태가 외부 메모리에 안전하게 보존되기 때문에 실패한 지점부터 곧바로 복구하여 실행을 이어갈 수 있는 높은 안정성을 갖춘다.

   • 에이전트 구동의 첫 단계는 지속적인 주기, 이벤트, 지표 등 다양한 트리거를 통해 이루어진다.
   • 에이전트는 샌드박스 내부에서 APM 로그와 서드파티 데이터, 저장소 권한을 활용해 실행되며 단일 프록시를 통해서만 외부와 통신한다.
   • 모든 상태와 학습된 기술은 샌드박스 외부 메모리에 영속적으로 저장되므로 실행 중 하네스가 실패해도 처음부터 다시 시작할 필요가 없다.
4. 10:20 - 15:26

   모델 독립성 확보와 평가(Evals) 작성의 중요성

   비용을 제어하고 출력 품질을 유지하기 위해 다양한 모델과 하네스를 교체하며 테스트할 수 있는 유연성이 필수적이다. 이 과정에서 가장 큰 비중을 차지하는 업무는 '평가(Evals)'의 작성과 검증이다. 에이전트가 찾아낸 문제와 생성한 결과물이 인간의 전문적 판단과 부합하는지 골든 데이터셋을 통해 끊임없이 조율해야 한다. 궁극적으로는 오프라인 테스트를 거친 평가가 프로덕션의 온라인 텔레메트리 데이터와 결합하여, 제품을 스스로 개선하는 자가 발전형 시스템을 완성하게 된다.

   • 시그널은 특정 모델이나 하네스에 종속되지 않도록 설계되어 클라우드 코드, 커서, 코덱스 등 다양한 도구와 앤트로픽 모델을 지원한다.
   • AI 엔지니어는 에이전트가 생성한 PR의 성능 저하를 테스트하고 인간의 판단과 일치시키기 위한 평가 코드를 작성해야 한다.
   • 프로덕션 환경 배포 이후에는 온라인 평가를 통해 텔레메트리 데이터와 에이전트 트레이스를 지속적으로 피드백하여 시스템 전체를 개선한다.