Anthropic이 SpaceX의 Colossus 1 데이터 센터와 손잡고 22만 개의 GPU 인프라를 돌리기 시작했습니다. 인프라 규모가 커졌다는 건 단순히 모델이 똑똑해졌다는 뜻이 아닙니다. 우리 같은 개발자들에게는 서비스 운영의 병목이었던 분당 토큰 한도(TPM)가 근본적으로 변한다는 신호입니다. 대규모 에이전트를 배포할 때 가장 먼저 마주치는 벽은 모델 성능이 아니라 429 Too Many Requests 에러입니다.
Tier 4 승격으로 분당 400만 토큰 한도 선점하기
에이전트가 복잡한 코드베이스를 분석하거나 수천 명의 사용자 요청을 동시에 처리하려면 최소 Tier 4 권한이 필요합니다. 2026년 기준 Tier 4로 올라가면 분당 입력 토큰(ITPM) 한도가 4,000,000개까지 늘어납니다. 이건 누적 결제 금액에 따라 자동으로 결정되는 시스템이라 전략적으로 움직여야 합니다.
- Anthropic 콘솔 Billing 메뉴에서 초기 크레딧을 400달러 이상 미리 충전하십시오. 누적 결제 임계값을 즉시 채워야 시스템이 자동으로 티어를 올립니다.
- API 요청 헤더의
service_tier파라미터를auto로 고정하십시오. 예약 용량과 표준 할당량 사이를 유연하게 오가며 트래픽 피크를 견뎌냅니다. - 1M 컨텍스트 윈도우 베타 접근권을 신청하십시오. Tier 4 이상부터는 대용량 데이터를 한 번에 밀어넣을 수 있는 권한을 우선적으로 줍니다.
준비를 마치면 분당 요청 수(RPM)가 4,000건까지 열립니다. 이제 트래픽이 몰려도 API가 차단되어 서비스가 멈추는 일은 없습니다.
프롬프트 캐싱으로 입력 비용 90% 덜어내기
늘어난 컨텍스트 윈도우는 양날의 검입니다. 100만 토큰을 다 쓸 수 있다고 해서 매번 다 보내면 통장이 버티지 못합니다. Anthropic의 Context Caching은 반복되는 시스템 프롬프트나 참조 문서를 서버 메모리에 고정합니다. Claude Sonnet 4.6 기준으로 캐시를 읽는 비용은 100만 토큰당 0.30달러입니다. 일반 입력 비용인 3.00달러와 비교하면 10분의 1 수준입니다.
- 변하지 않는 도구 정의(Tool Definitions)를 프롬프트 최상단에 두고 첫 번째 캐시 중단점(Breakpoint)을 거십시오.
- 지식 베이스나 RAG로 긁어온 문서는 중간에 배치하고 두 번째 중단점을 설정하십시오. 세션 내내 데이터를 재사용합니다.
- 프리픽스(Prefix)가 최소 2,048 토큰을 넘었는지 확인하십시오. 이 수치를 밑돌면 캐싱 기능이 아예 작동하지 않습니다.
캐시 히트율을 80%까지만 올려도 실제 처리량은 5배 이상 늘어납니다. 지갑은 가벼워지지 않으면서 에이전트는 더 많은 일을 합니다.
Batch API를 섞어 쓰는 하이브리드 설계
모든 요청이 1초 안에 끝날 필요는 없습니다. 데이터 라벨링이나 코드베이스 인덱싱 같은 작업은 실시간 응답이 중요하지 않습니다. 이런 건 Batch API로 넘기면 비용이 절반으로 줄어듭니다. 24시간 안에 결과만 받으면 되는 작업들을 골라내는 작업이 설계의 핵심입니다.
- 고객과 직접 대화하는 기능은 Messages API를 쓰고, 내부 백그라운드 작업은 전부 Batch API군으로 분리하십시오.
- Temporal 같은 워크플로우 엔진을 붙여서 배치 ID를 추적하고, 완료 시점에 다음 로직이 돌도록 비동기 파이프라인을 만드십시오.
- 배치 요청에도 1시간 TTL 캐싱을 적용하십시오. 배치 할인 50%에 입력 토큰 캐시 할인까지 중첩해서 적용받을 수 있습니다.
월 1억 토큰을 쓰는 환경에서 이 구조를 도입하면 운영비가 660달러에서 320달러 수준으로 떨어집니다. 아낀 돈으로 에이전트의 추론 횟수를 늘리는 게 훨씬 이득입니다.
교차 리전 라우팅으로 TTFT 단축하기
인프라가 북미 전역으로 흩어지면서 어느 엔드포인트를 찌르느냐에 따라 첫 토큰 생성 시간(TTFT)이 수백 밀리초씩 차이 납니다. AWS Bedrock의 교차 리전 추론 기능을 쓰면 여러 리전의 자원을 하나로 묶어 관리할 수 있습니다. 트래픽이 몰리는 리전을 피해 가용 자원이 넉넉한 곳으로 요청을 자동 전달합니다.
- API 호출부 앞에 Cloudflare AI Gateway를 두십시오. 전 세계 300개 이상의 거점(PoP)을 통해 에지 캐싱을 쓰면 응답 속도가 빨라집니다.
- SDK 설정에서 지연 시간 기반 라우팅(Latency-based Routing)을 켜십시오. 실시간으로 가장 빨리 대답하는 리전을 골라 패킷을 쏩니다.
- HTTP/3 프로토콜을 강제하십시오. 핸드셰이크 시간이 줄어들고 불안정한 네트워크에서도 연결이 끈끈하게 유지됩니다.
네트워크 설정을 손보는 것만으로 응답 시간을 35% 이상 줄일 수 있습니다. 인프라 규모가 커진 만큼 그 경로를 최적화하는 기술이 사용자 경험을 결정합니다.
