Qwen 3.5 35B vs Sonnet 4.5: 격차가 정말 줄어들고 있을까?

알리바바가 최근 출시한 Qwen 3.5 Medium 시리즈와 Max Thinking 모델에 대한 소개로 영상이 시작됩니다. 이 모델들은 최신 맥북 프로에서 로컬로 실행 가능할 만큼 효율적이면서도 Sonnet 4.5보다 높은 벤치마크 점수를 기록했다고 홍보되고 있습니다. 발표자는 이러한 수치상의 결과가 실제 사용 환경에서도 유효한지 검증하기 위해 직접 테스트를 기획했습니다. 테스트 환경은 공정성을 위해 OpenRouter를 통한 Qwen 3.5 35B 모델과 클린 모드의 Claude Sonnet 4.5를 비교하는 방식으로 설정되었습니다. 로컬 AI의 부상과 기존 클라우드 기반 모델 간의 대결 구도를 명확히 설정하며 시청자의 흥미를 유발합니다.

기본적인 난이도의 작업으로 React와 Vite를 사용하여 로컬 스토리지가 연동되는 'To-Do List' 앱 제작을 요청했습니다. Sonnet 4.5는 깔끔한 UI와 표준적인 코드를 생성했으나, Qwen 3.5는 카테고리 설정 및 중요도 표시 등 더 풍부한 기능을 구현하여 초기에 더 좋은 인상을 주었습니다. 특히 Qwen은 컴포넌트를 분리하여 가독성을 높이는 등 구조적인 면에서도 우수한 모습을 보였습니다. 하지만 확인 결과 Qwen은 '슈퍼파워 스킬'이 활성화된 상태였으며, 이를 끄고 재테스트했을 때는 성능이 급격히 저하되었습니다. 결국 순수 모델 성능 면에서 안정적인 결과물을 낸 Sonnet 4.5가 첫 번째 라운드의 승자로 기록되었습니다.

중간 난이도 테스트로 3D 그래픽 라이브러리인 Three.js를 활용하여 행성을 클릭하고 정보를 확인하는 태양계 모델 제작을 지시했습니다. Sonnet 4.5는 한 번의 시도만으로 상호작용이 가능한 완벽한 결과물을 만들어내며 뛰어난 코딩 능력을 입증했습니다. 반면 Qwen 3.5는 실행되지 않는 빈 페이지를 생성했으며, 발생한 에러를 수정하라는 지시에도 제대로 대응하지 못하는 한계를 보였습니다. 또한 Qwen은 프로젝트 구조 내에서 사용하지 않는 중복된 패키지 파일을 생성하는 등 정교함이 부족한 모습을 노출했습니다. 이 과정에서 Qwen의 추론 과정이 반복적으로 멈추는 현상이 발생하여 작업 효율성이 크게 떨어졌습니다.

마지막으로 기존 코드베이스를 수정하여 트위터 URL을 입력하면 스크린샷을 찍어주는 도구를 고도화하는 작업을 수행했습니다. Sonnet 4.5는 타임아웃 에러를 즉각적으로 수정하며 실제 작동하는 기능을 완성했지만, Qwen 3.5는 근본적인 원인을 해결하지 못해 실패했습니다. 모든 테스트를 마친 후 발표자는 벤치마크 점수가 높은 Qwen이 왜 실제 성능에서는 뒤처지는지에 대한 분석을 내놓습니다. Qwen은 특정 평가 지표에 최적화된 학습을 거쳤을 가능성이 크며, 실제 파라미터 규모와 데이터셋의 견고함에서 Sonnet 4.5가 훨씬 우위에 있다는 점을 강조합니다. 결론적으로 수치에 현혹되지 말고 자신의 사용 목적에 맞는 모델을 직접 평가하여 선택할 것을 권장하며 마무리됩니다.