Arrêtez de deviner votre configuration vLLM : Évaluation des LLM sur Runpod - Chris Vela, Runpod

하이라이트

• RunPod propose une infrastructure cloud pour exécuter des GPU de la R&D jusqu'aux flux de production serverless.

• L'utilisation d'une configuration par défaut de vLLM ou d'une version obsolète comme la 0.27 provoque des échecs de déploiement lors du lancement de nouveaux modèles.

• L'outil BenchPod centralise les métriques et permet de modifier les configurations vLLM sans redémarrer l'image ni subir de temps de chargement.

• L'augmentation du nombre maximal de tokens par lot réduit considérablement la latence entre les tokens et accélère l'exécution des tâches longues.

• Une instance B300 hébergeant un grand modèle comme Kimi K3 représente un coût d'environ 40 000 dollars par mois.

타임라인

1. 00:00 - 03:47

   Défis du déploiement de modèles et limites des configurations par défaut

   Les ingénieurs rencontrent régulièrement des difficultés lors de la sortie de nouveaux modèles de vision-langage en raison d'une mauvaise version de vLLM, d'une taille de fenêtre de contexte inadaptée ou d'une dépendance excessive aux configurations par défaut. RunPod simplifie l'exécution des GPU pour éviter ces approximations. Valider les performances à l'aide de données concrètes garantit la fiabilité du système auprès des équipes dirigeantes.

   • Les utilisateurs déploient souvent de nouveaux modèles avec des configurations par défaut inadaptées.
   • Les versions obsolètes de vLLM, comme la 0.27, empêchent le fonctionnement correct des modèles récents.
   • Le passage de la R&D à la production nécessite des données objectives plutôt que des suppositions.
2. 03:47 - 09:35

   Présentation de BenchPod et architecture de test

   L'outil BenchPod regroupe un ensemble complet de métriques pour lancer des benchmarks et tester les modèles rapidement. Il intègre une application FastAPI et un mécanisme de surveillance qui assure la continuité du service, comme observé lors d'une panne de GPU gérée automatiquement sans impact pour les utilisateurs. Cette structure évite les pertes de temps liées aux démarrages à froid et au chargement des poids sur les GPU.

   • BenchPod est un outil de centralisation des métriques construit au-dessus d'une image Docker d'une API vLLM ouverte.
   • Le système intègre une surveillance auto-réparatrice capable de maintenir le service actif en cas de panne de nœud.
   • Le tableau de bord affiche les métriques GPU et les versions de CUDA nécessaires pour faire tourner des modèles spécifiques.
3. 09:35 - 13:35

   Optimisation des paramètres et analyse des performances

   La modification du nombre maximal de tokens par lot dans le fichier de configuration vLLM démontre un impact direct sur la réactivité du modèle. Bien que la vitesse de génération globale reste stable, la latence entre les tokens diminue nettement, ce qui réduit le temps de traitement des requêtes longues. Ces données permettent d'intégrer le modèle dans des agents tout en préparant la migration vers des clusters multi-nœuds ou du serverless.

   • L'ajustement du fichier de configuration YAML de vLLM permet de modifier le nombre maximal de tokens par lot.
   • L'augmentation des tokens par lot réduit la latence entre les tokens et accélère l'exécution des requêtes longues.
   • Les benchmarks comparent des exécutions avec 1, 8, 64 et 192 utilisateurs simultanés.
4. 13:35 - 16:20

   Stratégies d'hébergement et choix des ressources

   Les modèles de pointe comme Kimi K3 nécessitent des infrastructures puissantes mais onéreuses, atteignant un coût d'environ 40 000 dollars par mois pour un nœud B300. Il est donc pertinent d'évaluer si un modèle plus léger ou une alternative comme DeepSeek suffit pour les tâches courantes. La démarche globale consiste à choisir une machine GPU, comparer les configurations hors des recettes de base, optimiser selon les métriques visées et déployer la configuration gagnante.

   • Le choix du modèle doit correspondre aux besoins réels de l'équipe plutôt qu'à la recherche systématique du modèle de pointe.
   • Une instance B300 coûte environ 40 000 dollars par mois sur la plateforme RunPod.
   • L'utilisation de modèles alternatifs comme DeepSeek sur des clusters de quatre H200 offre des performances adaptées à d'autres cas d'usage.