GLM 4.7은 소프트웨어 개발에 미쳤다...

ZAI에서 GLM 4.7을 출시했으며, 연간 $29의 저렴한 가격으로 SWE 벤치마크에서 73%를 달성했다고 주장하고 있다. 이는 Sonnet 4.5 수준의 성능을 극도로 저렴한 가격에 제공하는 것으로, 중국 AI 연구실이 Reddit에서 라이브 Q&A를 실시한 것은 처음 있는 일이다. 이러한 공격적인 마케팅 타이밍은 ZAI의 IPO 준비와 서구권 시장에서의 인지도 제고 필요성이 배경에 있다. 다만 이전 버전인 4.6에서 실제 문제들이 있었기 때문에, 4.7이 과연 이러한 문제들을 제대로 해결했는지 검증이 필요하다.

AI Labs 채널의 '에피소드 디뱅크드' 시리즈를 통해 AI 도구와 모델을 직접 테스트하고 마케팅 과장을 벗겨내 실제 성능을 솔직하게 평가한다. GLM 4.7은 주로 포스트 트레이닝을 통해 개선되었으며 Claude 코드에 최적화되어 있고, ZAI 팀이 명시적으로 이를 최우선 프레임워크라고 명시했다. 현재 많은 최상위 모델들을 능가하고 있으며 특히 코딩 벤치마크에서 우수하다. 모든 코딩 플랜에는 새로운 MCP 도구들이 추가되었지만, 이들은 별도의 MCP 서버이며 API 키가 있어야 작동한다.

GLM 4.7의 요금제는 4.6과 거의 동일하지만, Claude 코드와 비교하면 가격 대비 성능이 현저히 우수하다. 기본 요금제에서 Claude 코드는 10-40개 프롬프트를 제공하는 반면, GLM 코딩은 단 $3에 120개의 프롬프트를 제공한다. 상위 요금제로 갈수록 차이는 더 커져서, $200 플랜은 Claude에서 5시간 800개 프롬프트를 제공하지만, GLM $30 플랜은 2,400개를 제공한다. 초기 할인 이후 두 배가 되지만 연간 요금제를 선택하면 훨씬 저렴해진다. 이는 Claude와 비교해 어마어마한 가격 차이를 의미한다.

휴머니티즈 라스트 엑잠(Humanities Last Exam)은 아직 포화되지 않은 어려운 벤치마크로, 대부분의 최신 모델이 낮은 점수를 얻는다. 테스트에 사용된 프롬프트는 아키텍처보다는 구현해야 할 디자인 로직에 초점을 맞추고, 동시에 여러 디자인 옵션을 제공하는 방식으로 설계되었다. 이를 통해 AI 기반 코드 리뷰 플랫폼과 같은 구체적 사례에서 모델이 실제로 무엇을 만드는지, 얼마나 창의적으로 접근하는지 파악할 수 있다. Sonnet 4.5와 비교하기 위해 MAX 플랜을 구독했으며, settings.json 수정을 통해 Claude 코드와 연결했다.

Sonnet 4.5가 생성한 UI는 디자인 관점에서 깔끔하고 이모지를 사용하지 않아 전문적이다. 반면 GLM 4.7이 생성한 UI는 디자인이 견고하지만 길이를 제대로 고려하지 않아 아티팩트 오류가 발생했고, 불필요한 이모지를 과다하게 사용했다. 단순 바닐라 JS로 구현되어 지금은 아키텍처보다는 디자인만 평가했다. 두 모델 모두 실제로 작동하는지 테스트하기 위해 확장 가능하고 백엔드 준비가 된 UI를 빌드해야 하는 상황으로 초기화했다. Framer Motion과 ShadCN 컴포넌트가 미리 설치되어 있어 테스트 환경이 최적화되었다.

Netflix 같은 스트리밍 플랫폼의 메인 브라우저 페이지를 빌드하도록 두 모델에 요청했으며, 정확히 어떤 기능과 요소가 필요한지 명시했다. GLM 4.6의 주요 문제점인 느린 코드 생성 속도는 4.7에서도 해결되지 않았으나, 모델이 실제로 사고 과정을 거치는 것이 명확히 보이게 되었다는 점은 개선되었다. GLM 4.7은 완전히 자율적이지 않아서, 컨텍스트에 명확하게 쓰여 있는 기존 UI 벤치마크 폴더를 무시하고 자기 혼자 다른 Next.js 앱을 만들어버리는 문제가 있었다. 사용자가 바로잡고 올바른 방향으로 가이드한 후에는 구현이 제대로 이루어졌다.

디자인 관점에서는 Claude가 더 좋은 UI를 만들었지만, 코드 아키텍처 측면에서는 GLM 4.7이 Claude보다 우수한 성과를 보였다. GLM은 모든 모의 데이터를 하나의 파일에 집중시켜, 나중에 백엔드로 전환할 때 그 파일만 변경하면 되도록 설계했다. 반면 Claude는 모든 컴포넌트마다 자체 임포트를 가지고 있어서, 실제 백엔드를 구현할 때 모든 파일을 개별적으로 변경해야 한다. 이는 확장성과 유지보수성 측면에서 GLM의 아키텍처가 더 우수함을 의미한다. 이러한 예상 밖의 결과는 4.6이 이 정도로 좋지 않았던 것과 대비되어, 4.7이 정말 큰 도약을 이루었음을 보여준다.

기본 아키텍처와 코드 품질 관점에서 GLM 4.7이 정말 잘했으며, 4.6과 비교해 매우 큰 도약을 이루었다. 벤치마크 결과들은 직접 수행한 테스트로 충분히 정당화된다. 모든 사람에게 연간 $29 요금제를 강력히 추천하며, 특히 이미 Claude 월간 $20 플랜을 사용 중인 사람들에게는 비교가 안 될 정도로 저렴하다. 그러나 GLM 4.7은 완전히 자율적인 코딩 작업에는 아직 부족하며, 여전히 가진 작은 특이한 점들과 자율성 부족으로 인해 이것만으로 의존하는 것은 좋은 생각이 아니다. 따라서 보조적 도구로 사용하거나 명확한 지침과 함께 사용하는 것이 권장된다.