할 일은 딱 하나뿐이었던 스킬들 (결국 실패)

하이라이트

• Vercel의 테스트 결과, 코딩 에이전트에게 컨텍스트를 제공할 때 '스킬(Skills)'보다 'agents.md' 파일이 더 효과적임

• 스킬 방식은 에이전트의 판단에 의존하기 때문에 호출되지 않을 확률이 56%에 달하며 성능 개선이 미비함

• 강제적인 스킬 사용 지시는 프롬프트의 미세한 문구 차이에 따라 기존 컨텍스트를 무시하는 등 불안정성을 보임

• agents.md 방식은 시스템 프롬프트에 문서 인덱스를 직접 포함하여 에이전트의 의사 결정 과정을 제거함

• 검색 기반 추론을 우선시하도록 설정한 agents.md 방식은 평가 항목에서 100%의 정확도를 기록함

• 현재 기술 수준에서는 복잡한 스킬 설계보다 지속적인 컨텍스트를 제공하는 단순한 방식이 실무에 더 적합함

타임라인

1. 00:00 - 00:51

   서론: 코딩 에이전트 컨텍스트 제공의 새로운 발견

   Vercel은 Next.js 문서를 코딩 에이전트에게 효율적으로 제공하는 방법을 테스트하던 중 놀라운 사실을 발견했습니다. 기존에 널리 사용되던 '스킬' 방식보다 'agents.md' 파일을 사용하는 고전적인 방식이 더 효과적이라는 결과가 나왔습니다. 이 실험의 목적은 에이전트가 최신 API 정보를 학습하거나 특정 구버전의 메서드만 사용하도록 제한하는 '버전 맞춤형 문서 시스템'을 구축하는 것이었습니다. 개발자는 에이전트에게 추가적인 문맥을 제공할 때 어떤 경로가 가장 오류가 적고 정확한지 분석하고자 했습니다. 이 섹션은 이후 전개될 두 가지 접근 방식의 비교 연구에 대한 배경을 제시합니다.

2. 00:52 - 02:35

   스킬(Skills) 방식의 한계와 성능 평가 결과

   Anthropic의 개방형 표준인 '스킬'은 에이전트가 필요할 때 호출하는 모듈화된 번들이지만, 실제 테스트 결과는 실망스러웠습니다. 에이전트가 스스로 판단하여 스킬을 호출하지 않은 경우가 56%나 되었고, 이는 스킬이 없는 베이스라인과 차이가 없거나 오히려 노이즈로 작용했습니다. 강제로 스킬을 사용하게 하면 호출율은 높아졌지만, 단어 하나에 따라 프로젝트 컨텍스트를 무시하는 등 동작이 매우 불안정했습니다. Vercel은 이러한 취약성이 실무용 도구로 적합하지 않다고 판단했습니다. 결국 에이전트의 자율적인 판단에 맡기는 방식이 지닌 예측 불가능성이 가장 큰 문제로 지적되었습니다.

3. 02:36 - 03:55

   agents.md와 문서 인덱스를 활용한 해결책

   Vercel은 대안으로 시스템 프롬프트에 지침을 상주시키는 'agents.md' 형식을 채택했습니다. 컨텍스트 용량이 커지는 문제를 해결하기 위해 문서 전체를 넣는 대신 파일 시스템 내 문서들의 '경로 인덱스'를 제공했습니다. 또한 에이전트에게 사전 학습된 지식보다 검색 기반의 추론을 우선하라는 명확한 지침을 추가했습니다. 이 방식은 에이전트가 정보를 찾을지 말지 고민할 필요를 없애주었으며, 결과적으로 평가 항목에서 100%의 점수를 기록하는 놀라운 성과를 거두었습니다. 복잡한 설계보다 단순하고 투박한 소프트웨어 공학적 접근이 승리한 전형적인 사례로 평가됩니다.

4. 03:56 - 05:38

   결론: 효율적인 에이전트 활용 전략과 권장 사항

   실험 결과 agents.md가 우세했던 이유는 에이전트의 '결정의 순간'을 제거하고 지식을 '지속적인 컨텍스트'로 변환했기 때문입니다. 다만 스킬 방식도 앱 라우터 전환과 같은 특정 작업 지시에는 보조적으로 유용할 수 있음을 확인했습니다. 현재 수준의 모델에서는 정보를 압축하여 검색 가능하게 만들고, 항상 성능 평가(Evals)를 통해 검증하는 것이 가장 중요합니다. Vercel은 사용자들이 바로 적용해 볼 수 있도록 특정 버전에 맞춘 agents.md 파일과 도구들을 제공하고 있습니다. 이 영상은 미래의 모델이 발전하더라도 현재로서는 수동적인 컨텍스트 제공이 가장 강력한 전략임을 강조하며 마무리됩니다.