Sua GPU não é pequena demais… o problema é o seu setup

O vídeo começa apresentando o DeepSpeed como uma biblioteca de código aberto da Microsoft integrada ao PyTorch. O narrador explica que o principal motivo de falha em modelos grandes não é a lentidão, mas sim o esgotamento da VRAM devido aos estados do otimizador e parâmetros. A solução apresentada é a tecnologia ZeRO, que elimina a redundância de dados armazenados. Este trecho é fundamental para entender a base técnica da ferramenta. O autor destaca que o segredo para rodar modelos pesados em uma única GPU reside nesta divisão inteligente de estados de treinamento.

O autor demonstra a parte prática utilizando o Google Colab, justificando a escolha por estar em um hardware Mac que não possui GPUs Nvidia nativas. Ele inicia realizando uma verificação de GPU e a instalação de pacotes essenciais como PyTorch, Hugging Face e o próprio DeepSpeed via pip. Um passo crucial mencionado é o uso do comando "ds_report" para validar a configuração do CUDA e do compilador. Esta seção foca na infraestrutura necessária antes de iniciar o código. O processo ilustra as dificuldades e soluções para quem não possui hardware local compatível.

Nesta fase, o foco é a criação do arquivo JSON de configuração, descrito como a alma do negócio para o funcionamento do DeepSpeed. O narrador introduz o ZeRO estágio dois, que foca em dividir estados do otimizador e gradientes para reduzir o uso de memória. Ele aconselha os desenvolvedores a seguirem a documentação oficial e a evitarem adicionar configurações aleatórias de uma só vez. A maior parte do script utilizado foi extraída e adaptada das documentações do Hugging Face. O autor enfatiza a importância de ajustes finos para garantir que o sistema lide bem com o processamento.

O vídeo avança para a execução do treinamento utilizando um conjunto de dados reduzido para agilizar o exemplo. O autor alerta que, se a execução falhar neste ponto, geralmente é devido a incompatibilidades de CUDA e não a erros no modelo de IA. Após rodar o script por alguns minutos, são mostrados os resultados de pico de memória da GPU e a perda de treinamento (loss). Embora a perda não tenha caído drasticamente neste teste rápido, o objetivo principal era validar o fluxo de trabalho. Este trecho serve como um guia de diagnóstico rápido para problemas comuns de setup.

O narrador detalha os diferentes níveis do ZeRO, do estágio um ao três, explicando o que cada um deixa de armazenar na GPU única. O estágio três é apontado como o mais potente, pois divide também os parâmetros do modelo, oferecendo o maior ganho de memória possível. Caso a memória física ainda seja insuficiente, entra em cena o ZeRO-Infinity, que permite descarregar dados para a CPU ou NVMe. Essa técnica de "offload" é descrita como uma troca de velocidade por escala. O autor ressalta que conseguir rodar o modelo, mesmo que mais lentamente, já é uma grande vitória técnica.

Na parte final, são mencionados recursos avançados como o paralelismo 3D e o suporte a modelos Mixture of Experts (MoE). O DeepSpeed é descrito como uma ferramenta versátil que se integra ao ecossistema do Hugging Face, permitindo que o desenvolvedor use apenas o necessário. O autor reforça que os ganhos de processamento são imensos em sistemas Windows ou Linux, onde a otimização de CUDA é mais direta. Ele encerra definindo o DeepSpeed como um botão de "me recuso a ficar sem memória hoje". O vídeo termina com um convite à inscrição para quem busca otimizar tempo e recursos de GPU.