그래프 엔지니어링으로 AI 에이전트를 예측 가능하게 만들기 - Zachary Blumenfeld, Neo4j

하이라이트

• 그래프 엔지니어링은 에이전트 작업을 명시적 그래프로 설계하는 관행으로, 노드는 작업을 수행하고 엣지는 그 사이에서 상태를 라우팅한다.

• 그래프 엔지니어링을 통해 에이전트의 경로를 제한하고 답변의 정확성을 보장하며 행동을 관리, 통제, 감사할 수 있다.

• 텍스트 형태의 산문과 스킬을 그래프 구조로 컴파일하고 에이전트에게 실행하도록 강제했을 때 작업 보상과 성능이 향상된다.

• 대출 승인 프로세스 예시에서 그래프 기반 스킬과 실행 스크립트를 도입하자 평균 실행 시간이 7분 반에서 최대 30초~2분 수준으로 단축되었다.

• 절차적 그래프를 적용함으로써 Haiku 같은 더 간단한 모델을 사용할 수 있게 되어 모델 실행 시간과 비용이 대폭 감소했다.

타임라인

1. 00:00 - 03:04

   그래프 엔지니어링의 정의와 개념적 진화

   컴퓨터 과학 전반에서 상태 기계와 워크플로우 그래프는 익숙한 개념이었으나, 에이전트와 결합하면서 새로운 관점으로 주목받고 있다. 특히 컨텍스트 그래프와 절차적 그래프는 에이전트가 더 크고 복잡한 작업을 수행하도록 돕는다.

   • 그래프 엔지니어링은 프롬프트 엔지니어링과 컨텍스트 엔지니어링에서 진화한 개념이다.
   • 에이전트 작업을 명시적 그래프로 설계하여 노드는 작업을 수행하고 엣지는 상태를 라우팅한다.
   • 그래프는 실행 그래프, 컨텍스트 그래프, 절차적 그래프의 세 가지 유형으로 나뉜다.
2. 03:04 - 06:05

   에이전트에 그래프를 적용했을 때의 이점과 아키텍처

   그래프를 데이터와 함께 배치하면 휴대성이 추가되어 어떤 유형의 런타임과도 작동할 수 있다. 이를 통해 개발자는 단순한 스택을 유지하면서도 복잡한 에이전트 로직을 효과적으로 운영할 수 있다.

   • 명시적 그래프는 에이전트의 행동을 관리, 통제, 감사할 수 있는 예측 가능성을 제공한다.
   • 그래프를 런타임에만 국한하지 않고 저장하여 서로 다른 런타임 간에 이동시킬 수 있다.
   • Neo4j 지식 계층은 기존 기록 시스템 데이터와 에이전틱 브레인 사이에 위치하여 상호 운용성을 높인다.
3. 06:05 - 10:47

   스킬과 메모리를 그래프로 컴파일하는 연구

   텍스트 자료와 스킬 파일을 실제 그래프 구조로 변환하여 에이전트가 접근할 수 있도록 만들었다. 우버나 자산운용사 같은 기업들도 규정 준수와 감사 보고서 작성 등 복잡한 문제를 해결하기 위해 이와 유사한 방식을 활용하고 있다.

   • 과거의 결정이나 스킬 형태의 절차적 지식을 그래프로 컴파일하는 연구가 진행되었다.
   • 산문을 결정론적 스크립트로 변환하여 에이전트에게 실행하도록 강제하면 성능이 향상된다.
   • 메모리 그래프를 통해 버전 관리, 드리프트 평가, 출처 및 이력 파악이 가능한 거버넌스를 갖추게 된다.
4. 10:47 - 20:25

   대출 승인 프로세스 데모와 성능 개선 결과

   대출 승인 프로세스 예시를 통해 복잡한 정책과 규칙을 스크립트로 반영한 결과물을 시연했다. 라우팅과 작업 수행 부담을 실행 스크립트에 덜어줌으로써 더 간단한 모델을 활용할 수 있게 되었고, 전반적인 효율성과 관측성이 크게 향상되었다.

   • 대출 승인 정책과 과거 데이터, 결정 추적을 연결하여 에이전트가 감사 추적을 생성하도록 구현했다.
   • 성공적인 실행 결과로부터 정보를 추출해 스킬 내 그래프 YAML 형태로 컴파일하고 CLI를 통해 실행한다.
   • 절차와 스크립트를 도입한 결과 평균 벽시계 시간이 7분 반에서 30초~2분으로 단축되고 비용이 대폭 절감되었다.