Qwen 3.5 소형 모델의 놀라운 성능! (온디바이스 0.8B & 2B 테스트)

하이라이트

• 알리바바의 Qwen 3.5 소형 모델(0.8B, 2B)은 높은 지능 밀도를 자랑하며 온디바이스 실행에 최적화됨

• 0.8B 모델은 2023년의 Llama 2 7B 모델에 필적하는 벤치마크 성능을 보여줌

• 262K의 거대한 컨텍스트 창을 지원하여 긴 문서나 대규모 코드 분석이 가능함

• M2 맥북과 아이폰 14 프로에서 인터넷 연결 없이 로컬로 구동되는 멀티모달 성능 확인

• 코딩 테스트에서 2B 모델이 0.8B보다 디자인과 기능 구현 면에서 우수한 결과 도출

• 아이폰 앱을 통한 실시간 비전 테스트에서 사물 식별 및 OCR 능력의 가능성과 한계 노출

• Qwen 개발 팀의 핵심 인력 이탈 소식으로 향후 모델 혁신 지속성에 대한 우려 제기

타임라인

1. 00:00 - 01:45

   Qwen 3.5 소형 모델의 특징과 등장 배경

   최근 인터넷에서 큰 화제가 되고 있는 알리바바의 Qwen 3.5 소형 모델 시리즈를 소개합니다. 이 모델들은 0.8B와 2B라는 매우 작은 파라미터 크기에도 불구하고 네이티브 멀티모달 성능을 갖추고 있습니다. '지능 밀도'라는 개념을 핵심으로 하여, 과거에는 거대 모델만 가능했던 추론과 비전 작업을 소형 모델에서도 가능하게 만들었습니다. 이를 통해 6년 된 노트북이나 최신 스마트폰에서 인터넷 연결 없이 로컬로 AI를 실행할 수 있는 시대가 열렸습니다. 발표자는 이번 영상에서 M2 맥북 프로와 아이폰 14 프로를 활용한 직접적인 테스트를 예고하며 기대감을 높입니다.

2. 01:45 - 02:56

   벤치마크 점수 비교 및 주요 스펙 분석

   모델의 객관적인 성능을 확인하기 위해 MMLU와 OCRBench 등 주요 벤치마크 데이터를 살펴봅니다. 놀랍게도 0.8B 모델은 과거 Llama 2 7B 모델과 비슷한 수준의 이해 능력을 보여주며 파라미터 대비 압도적인 효율성을 증명했습니다. 특히 비전 성능에서는 OCRBench 점수가 매우 높게 나타나 복잡한 문서 분석에 강점이 있음을 시사합니다. 또한 262K라는 방대한 컨텍스트 창을 지원한다는 점은 소형 모델로서는 매우 이례적이고 강력한 특징입니다. 이러한 스펙은 PDF 전체 분석이나 대규모 코드베이스 작업을 로컬 환경에서 수행할 수 있는 밑바탕이 됩니다.

3. 02:56 - 07:06

   로컬 코딩 테스트: 0.8B vs 2B 모델 비교

   LM Studio와 VS Code의 CLINE을 연동하여 오프라인 상태에서 웹사이트 제작 테스트를 진행합니다. 0.8B 모델은 빠르게 결과물을 내놓았지만 디자인이 단조롭고 이미지 링크가 정확하지 않는 등 실제 업무에 쓰기에는 한계가 있었습니다. 반면 2B 모델은 작업을 시작하기 전 계획을 먼저 세우는 신중함을 보였으며, 결과물 또한 훨씬 깔끔한 디자인과 장바구니 기능을 포함했습니다. 다만 테스트 과정에서 무한 루프에 빠지는 등 기술적인 호환성 문제가 일부 발견되기도 했습니다. 이 실험은 아주 작은 모델로도 기본적인 코딩 구조를 생성할 수 있다는 가능성을 확인하는 데 큰 의의가 있습니다.

4. 07:06 - 10:24

   아이폰 14 프로에서의 온디바이스 실행 및 비전 테스트

   애플의 MLX Swift 프레임워크를 사용하여 아이폰에서 Qwen 모델을 직접 구동하는 네이티브 앱 테스트를 수행합니다. 비행기 모드에서도 모델이 즉각적으로 응답하는 속도는 매우 인상적이며, 유명한 논리 퀴즈인 세차 테스트도 무난히 통과했습니다. 하지만 비전 기능에서는 0.8B 모델이 바나나 사진을 잘못 설명하거나 강아지 품종을 맞히지 못하는 등 '환각 현상'이 목격되었습니다. 특히 라트비아어를 슬로베니아어로 착각하는 등 소형 모델이 가진 지식의 한계가 명확히 드러나기도 했습니다. 실시간 속도는 놀랍지만 복잡한 시각적 추론에는 아직 개선의 여지가 있음을 보여주는 구간입니다.

5. 10:24 - 12:54

   2B 모델 성능 확인 및 Qwen 팀의 향후 전망

   2B 모델로 동일한 테스트를 진행했을 때, 비전 식별 능력과 OCR 정확도가 현저히 개선되는 것을 확인할 수 있었습니다. 특히 0.8B 모델이 실패했던 라트비아어 텍스트 분석을 2B 모델은 정확하게 성공해내며 파라미터 증가에 따른 성능 향상을 입증했습니다. 영상의 마무리 부분에서는 알리바바 Qwen 팀의 핵심 인력들이 스타트업 창업을 위해 퇴사했다는 안타까운 소식을 전합니다. 이로 인해 Qwen의 혁신적인 업데이트가 이번 모델을 끝으로 주춤해질 수 있다는 우려가 커지고 있습니다. 발표자는 시청자들에게 소형 모델의 활용 가능성에 대한 의견을 물으며 영상을 마칩니다.