Qwen 3.5 35B vs Sonnet 4.5: A diferença está DIMINUINDO?

O vídeo começa apresentando o lançamento do Qwen 3.5 pela Alibaba, destacando as versões Max e Medium. O narrador explica que a série Medium visa competir com o Sonnet 4.5 da Anthropic, oferecendo a vantagem de execução local em hardware como o MacBook Pro. Existe um ceticismo inicial sobre as alegações de que o Qwen superaria o Sonnet em benchmarks. O autor confessa que usará o OpenRouter para testar o Qwen devido às limitações de seu MacBook M1. Esta seção estabelece as bases para o confronto entre modelos proprietários online e modelos abertos locais.

Neste primeiro desafio, ambos os modelos devem criar um aplicativo de lista de tarefas usando React e Vite. Inicialmente, o Qwen 3.5 impressiona ao incluir recursos extras como categorias, severidade e prazos, além de organizar o código em componentes separados. O Sonnet 4.5 entrega uma solução funcional com persistência em local storage, mas com um design mais simples. No entanto, o narrador percebe que o Qwen utilizou uma habilidade especial do OpenCode chamada 'superpower' para alcançar esse resultado. Ao refazer o teste sem auxílio, o Qwen falha em manter o nível, dando a vitória ao Sonnet 4.5.

O segundo teste eleva o nível de dificuldade ao exigir o uso da biblioteca Three.js para renderização 3D. O Sonnet 4.5 cria uma interface funcional onde é possível interagir com planetas, rotacionar a câmera e obter informações detalhadas. Em contraste, o Qwen 3.5 entrega uma página em branco e apresenta erros de console persistentes que não consegue corrigir. O narrador relata que o processo com o Qwen foi frustrante, envolvendo travamentos e geração de pastas redundantes de 'node_modules'. Fica evidente aqui a superioridade do modelo da Anthropic em lidar com bibliotecas externas complexas.

O desafio final consiste em modificar um código existente para capturar imagens de tweets a partir de URLs. O Sonnet 4.5 consegue implementar a lógica, permitindo ajustar o fundo e o preenchimento da imagem final, apesar de um erro inicial corrigido rapidamente. O Qwen 3.5 confunde os termos, referindo-se a 'extrair vídeo' em vez de imagem, e acaba travando em um timeout de 60 segundos. Mesmo após tentar aumentar o tempo limite, o modelo chinês não consegue resolver a causa raiz do problema. Com isso, o Sonnet 4.5 consolida sua vitória invicta em todos os três cenários de teste propostos.

Na conclusão, o narrador discute por que os benchmarks favorecem o Qwen enquanto a prática diz o contrário. Ele sugere que o Qwen 3.5 pode ter sido treinado especificamente para performar bem em conjuntos de dados de avaliação como o SWE-bench. Além disso, aponta a diferença massiva na escala de parâmetros entre os modelos, onde o Sonnet provavelmente possui uma base muito maior e robusta. O vídeo encerra reforçando a importância de realizar testes próprios em vez de confiar cegamente em tabelas de marketing. Por fim, há uma menção ao novo modelo TTS da Alibaba para clonagem de voz e emoções.