GPU 용량이 부족한 게 아닙니다… 설정이 문제죠

딥스피드는 파이토치와 연결하여 모델 훈련 시 발생하는 메모리 문제를 해결해주는 마이크로소프트의 라이브러리입니다. 대형 모델 훈련이 실패하는 주된 이유는 모델이 느려서가 아니라 옵티마이저 상태, 그래디언트, 파라미터가 VRAM을 가득 채우기 때문입니다. 이를 해결하기 위해 딥스피드는 ZeRO(Zero Redundancy Optimizer) 기술을 사용하여 데이터를 중복 저장하지 않고 분산합니다. 영상은 구독 권장과 함께 딥스피드가 단일 GPU에서도 과부하 없이 모델을 올릴 수 있게 해준다는 점을 강조합니다. 사용자는 이 기술을 통해 하드웨어의 한계를 극복할 수 있는 실마리를 얻게 됩니다.

발표자는 현재 맥북 M4 Pro를 사용 중이지만, 엔비디아 GPU 환경이 필요한 딥스피드 실행을 위해 구글 코랩을 활용하기로 합니다. 가장 먼저 GPU 상태를 체크한 뒤 파이토치, 허깅페이스, 딥스피드와 같은 필수 패키지들을 설치하는 과정을 거칩니다. 설치 후에는 DS 리포트를 실행하여 CUDA와 컴파일러 설정이 정상적으로 이루어졌는지 꼼꼼하게 확인해야 합니다. 맥 환경에서의 제약 사항을 우회하며 실습을 준비하는 모습은 사용자들에게 유연한 개발 환경 구축의 중요성을 보여줍니다. 매끄러운 실행을 위해 추가적인 컴파일 관련 설치 작업도 함께 진행됩니다.

딥스피드 운영의 핵심인 JSON 설정 파일을 만드는 과정이 소개되며, 여기서는 ZeRO 2단계 설정을 먼저 다룹니다. ZeRO 2단계는 옵티마이저 상태와 그래디언트를 여러 GPU에 분산하여 메모리 사용량을 획기적으로 줄여주는 방식입니다. 발표자는 공식 문서를 참고하여 설정을 하나씩 수정할 것을 권장하며 무분별한 옵션 추가는 지양하라고 조언합니다. 특히 대부분의 오류는 모델 자체보다 CUDA 버전 불일치에서 발생하므로 이 지점에서 막힌다면 환경 설정을 다시 점검해야 합니다. 허깅페이스 문서를 참고하여 자신의 시스템에 맞춰 코드를 수정하는 노하우도 함께 공유됩니다.

실제 훈련 스크립트를 실행하여 GPU 메모리 사용량과 손실(loss) 값을 확인하는 과정이 진행됩니다. 이번 예제는 빠른 확인을 위해 작은 데이터셋을 사용했으므로 손실 값이 크게 떨어지지는 않았지만, 최적화 가능성을 충분히 보여줍니다. 이어지는 설명에서는 ZeRO의 1, 2, 3단계를 비교하며 각 단계가 어떤 데이터를 분산하여 메모리를 절약하는지 구체적으로 설명합니다. 특히 가장 강력한 ZeRO 3단계는 파라미터까지 분산하여 메모리 절약 효과를 극대화한다는 점이 핵심입니다. "단일 GPU에 무엇을 저장하지 않아도 되는가?"라는 질문이 ZeRO 설계의 본질임을 강조합니다.

GPU 메모리가 극도로 부족할 때는 ZeRO-Infinity를 통해 CPU RAM이나 NVMe 저장소로 데이터를 오프로드하는 극단적인 해결책을 제시합니다. 이는 속도를 일부 희생하더라도 대규모 모델을 일단 구동할 수 있게 만드는 전략으로, 모델 실행 자체가 승리라는 관점을 보여줍니다. 또한 딥스피드는 3D 병렬 처리와 전문가 혼합(MoE) 모델을 지원하여 복잡한 연산 자원을 효율적으로 관리할 수 있게 돕습니다. 허깅페이스나 Accelerate와의 높은 통합성 덕분에 사용자는 밑바닥부터 모든 것을 구현할 필요 없이 필요한 기능만 가져다 쓸 수 있습니다. 마지막으로 입문자들에게 공식 설정값부터 시작해 점진적으로 환경을 맞춰나갈 것을 제안하며 영상이 마무리됩니다.