스크립트
00:00:00Est-ce qu'un modèle chinois open-weight vient de détrôner GPT 5.6 et Fable 5 ?
00:00:05Eh bien, si vous avez traîné sur YouTube ou Twitter ces dernières 24 heures,
00:00:08vous avez été bombardés de graphiques montrant KimiK3 aussi performant,
00:00:13voire meilleur, que ce qu'Anthropic et OpenAI ont de mieux à offrir,
00:00:17tout en le faisant pour une fraction du prix.
00:00:20Mais faut-il croire au battage médiatique ?
00:00:22C'est exactement ce à quoi nous allons répondre dans la vidéo d'aujourd'hui
00:00:24en examinant de plus près ce que ces benchmarks nous disent réellement,
00:00:28et en faisant un test comparatif entre GPT 5.6, Fable 5 et K3
00:00:34dans le domaine où KimiK3 affiche de meilleurs résultats que tout le monde : le design front-end.
00:00:40Donc, d'ici la fin de cette vidéo, nous aurons une bien meilleure idée si KimiK3 est le nouveau roi.
00:00:46Commençons donc par les chiffres et les benchmarks concernant KimiK3
00:00:49car il y a beaucoup à tirer de tout cela
00:00:51et il y a des nuances qui dépassent ces graphiques
00:00:53que vous avez vus circuler partout, ces deux-là étant les plus populaires.
00:00:57Maintenant, quand on parle de KimiK3, c'est un modèle open-weight à 2,8 billions de paramètres.
00:01:02Quand on dit open-weight, on parle d'open-source,
00:01:05cela ne signifie pas que vous pouvez l'exécuter sur votre ordinateur.
00:01:07Nous parlons de millions de dollars de matériel nécessaires pour faire tourner ce genre de choses.
00:01:11Mais c'est quand même bien que ce soit open-weight,
00:01:12que nous puissions réellement voir comment les paramètres sont réglés
00:01:15contrairement à Fable 5 ou GPT 5.6, où cela nous est invisible.
00:01:20Maintenant, comment se comporte-t-il au niveau des chiffres ?
00:01:23Cela nous vient de Kimi et de leur laboratoire Moonshot,
00:01:27et il montre qu'il rivalise, encore une fois, avec Fable 5 et GPT 5.6
00:01:31sur tous ces benchmarks de programmation majeurs.
00:01:34L'autre graphique que vous avez vu circuler est celui-ci.
00:01:36Cela vient d'arena.ai, et cela mesure leur code front-end.
00:01:40Maintenant, la façon dont ce benchmark fonctionne, c'est que si vous allez sur arena.ai et que vous lui demandez,
00:01:44hé, crée-moi une page de destination,
00:01:45il vous donnera deux réponses de deux modèles différents,
00:01:49et vous ne savez pas lequel est lequel.
00:01:50C'est comme le défi Pepsi, et vous choisissez celui que vous voulez.
00:01:53Au fil du temps, nous voyons lesquels ont été votés contre leurs concurrents.
00:01:57Et en ce moment, Kimi K3 a fait mieux que n'importe quel autre modèle dans cet espace.
00:02:01Mais comprenez que c'est très, très subjectif.
00:02:03Et donc, quand nous regardons ces deux graphiques,
00:02:05et que nous comparons cela à la tarification entre ces modèles,
00:02:08nous voyons que Kimi K3 est aussi extrêmement bon marché.
00:02:13Son entrée coûte 3 $ par million de jetons par rapport à Fable, qui en coûte 10,
00:02:17par rapport à 5.6, qui en coûte 5.
00:02:20Donc, c'est 60 % du coût de 5.6,
00:02:23et c'est 30 % du coût de Fable 5 sur l'entrée.
00:02:26Et en sortie, c'est la moitié du coût de 5.6,
00:02:29et c'est 30 % du coût de Fable 5.
00:02:32Donc beaucoup moins cher, et c'est pratiquement aussi bon, voire meilleur.
00:02:35Alors, que demander de plus ?
00:02:36Mais c'est là que nous devons commencer à creuser un peu plus profondément
00:02:38en termes de coût et de vitesse.
00:02:40Parce qu'il y a une différence entre voir, oh, par million de jetons,
00:02:43c'est 3 $ et celui-là coûte 10 $.
00:02:45Eh bien, combien de jetons utilise-t-il vraiment ?
00:02:46Tous les modèles ne sont pas traités de la même manière en termes d'efficacité des jetons.
00:02:49En fait, ces modèles chinois open-source ont tendance à consommer beaucoup de jetons,
00:02:53ce qui signifie que, sur le papier, c'est très bon marché.
00:02:56Qu'est-ce que cela signifie en réalité ?
00:02:57Et comment se compare-t-il à ces gars
00:02:58qui sont en fait très, très efficaces en termes de jetons, comme GPT 5.6 ?
00:03:01Eh bien, si nous regardons cela depuis l'analyse artificielle,
00:03:03qui est un organisme de benchmark indépendant,
00:03:05ils ont un coût par tâche d'indice d'intelligence.
00:03:09Donc, combien coûte la réalisation de ces tâches ?
00:03:11Donc Kimi K3, juste ici, on regarde 0,95 $.
00:03:15Contre GPT 5.6, seul, c'est 1,04 $.
00:03:20Donc légèrement plus cher.
00:03:23Si nous regardons 5.5 extra high, vous savez, c'est par ici.
00:03:26Si nous regardons Terra, qui est 5.6 sur max,
00:03:29c'est la moitié du prix de Kimi K3.
00:03:30Maintenant, contre Claude, n'est-ce pas, assez cher.
00:03:35Fable 5, 2,75 $.
00:03:38Donc, ces économies de coûts s'appliquent définitivement
00:03:40lorsque nous comparons Fable à Kimi K3.
00:03:42Mais lorsque nous le comparons à 5.6, pas une énorme différence.
00:03:46Nous parlons de 10 % ou moins.
00:03:49Et en fait, il y a certains cas où Terra,
00:03:51certains de ces modèles plus petits dans le domaine 5.6,
00:03:54coûtent en fait la moitié du prix de Kimi K3.
00:03:56Maintenant, l'autre chose que nous voulons noter est le temps,
00:03:58car le temps est certainement une devise
00:03:59à laquelle nous voulons prêter attention.
00:04:01Historiquement, ces modèles open-source de Chine sont lents.
00:04:04Et vous pouvez le voir ici.
00:04:05Le modèle le plus lent du lot est l'ancien Kimi K2.6.
00:04:09Maintenant, Kimi K3 s'est considérablement amélioré.
00:04:12Dans ce graphique, il est suivi à six minutes.
00:04:14Si nous comparons cela à Fable 5,
00:04:17Fable 5 est à cinq minutes et 5.6 est à 4,7.
00:04:21Donc, vous savez, il est moins efficace en termes de jetons et plus lent.
00:04:27Mais dans l'ensemble, beaucoup moins cher que Fable 5
00:04:32et environ au même niveau que 5.6.
00:04:34Maintenant, le dernier benchmark dont je veux parler
00:04:35est l'indice d'omniscience.
00:04:37Ceci mesure les hallucinations.
00:04:39Ils donnent au modèle une série de questions très difficiles
00:04:42dont il peut ou non connaître la réponse.
00:04:44Et c'est noté en termes de : a-t-il bien répondu ?
00:04:46A-t-il mal répondu ?
00:04:47Ou dit-il : je ne sais pas ?
00:04:49Vous obtenez un point si vous répondez correctement.
00:04:50Vous perdez un point si vous répondez mal.
00:04:52Et vous obtenez un zéro si vous dites simplement : je ne sais pas.
00:04:54Et nous pouvons voir ici, et c'est sur 100,
00:04:57Fable 5 obtient le meilleur score avec 40 points.
00:05:005.6 est loin derrière avec 22.
00:05:03Et puis Kimi K3 est à 18.
00:05:06Et je pense que ce benchmark est vraiment important
00:05:08si vous utilisez ces agents dans un contexte
00:05:10qui nécessite beaucoup de nuances
00:05:11et où il y a beaucoup de zones grises.
00:05:13Donc, quand nous prenons tous ces benchmarks ensemble
00:05:14dans l'ensemble, je pense que ce que nous devrions retenir
00:05:16c'est que Kimi K3 sur le papier est extrêmement puissant.
00:05:19Cependant, quand nous parlons de son faible coût,
00:05:21c'est plutôt exagéré,
00:05:23surtout quand nous le comparons aux modèles GPT
00:05:25qui sont hyper efficaces en termes de jetons.
00:05:27En plus de cela, Kimi K3 est aussi juste un petit peu plus lent.
00:05:30Alors cela devient juste une question de
00:05:32laquelle de ces trois choses est la plus importante pour vous
00:05:34en ce qui concerne la puissance, le coût et la vitesse.
00:05:38Alors maintenant, allons-y pour le front
00:05:39et testons ces trois modèles.
00:05:40Donc juste ici à gauche,
00:05:42j'ai Fable 5 qui tourne dans Claude Code.
00:05:45Et à droite, j'ai Kimi K3
00:05:46qui tourne aussi dans Claude Code.
00:05:49Et derrière, j'ai Codex.
00:05:51Donc voici le prompt que je vais lui donner.
00:05:54Et je lui dis que je veux qu'il construise
00:05:55un tableau de bord de voyage avec un globe 3D
00:05:57qui ressemble à une scène de mon film de science-fiction,
00:05:59pas juste un site web.
00:06:01Je lui dis que je veux essentiellement
00:06:02en faire un spectacle visuel.
00:06:04Et je veux qu'il soit plutôt créatif.
00:06:06En fait, je dis : surprenez-moi
00:06:08avec au moins une idée que je n'ai jamais vue auparavant.
00:06:10J'essaie de ne pas être trop spécifique avec ce prompt
00:06:13parce que je veux en quelque sorte voir
00:06:14comment tous ces modèles divergent
00:06:15et ce qu'ils construisent réellement pour moi.
00:06:16Alors mettons-les à l'épreuve.
00:06:20Très bien, les trois ont fini
00:06:22de construire leur site web.
00:06:23Alors nous allons passer à travers chacun d'eux.
00:06:24Et puis à la fin,
00:06:25nous comparerons le coût réel,
00:06:28le nombre de jetons utilisés, et le temps.
00:06:30Alors commençons avec Kimi 3.
00:06:34Alors, voilà.
00:06:35Nous avons la Terre en 3D.
00:06:37Je peux zoomer en avant et en arrière.
00:06:38Je peux le déplacer.
00:06:41Pas une très haute fidélité,
00:06:43mais ce n'est pas grave.
00:06:43Si je clique sur quelque chose comme Mexico,
00:06:46il ne se passe pas grand-chose.
00:06:51Quoi d'autre ?
00:06:51Il y a d'autres points ici,
00:06:53comme Cape Town.
00:06:55Ici sur la gauche,
00:06:56il montre quelques itinéraires actifs.
00:06:58Donc, si je clique sur un itinéraire actif comme Tokyo,
00:07:01ça m'y amène réellement.
00:07:02Et puis ici sur le côté droit,
00:07:04je vais me déplacer un petit peu.
00:07:05On peut voir, vous savez,
00:07:07c'est une longue période,
00:07:08météo,
00:07:09la meilleure fenêtre pour y voyager,
00:07:10entrée,
00:07:11et puis en quelque sorte
00:07:12combien cela coûte en ce moment.
00:07:16Et au fur et à mesure que je clique sur des choses ici sur la gauche,
00:07:19vous savez,
00:07:20ça m'amène à ces différentes villes
00:07:21ainsi qu'à toutes leurs statistiques.
00:07:23Donc dans l'ensemble,
00:07:24assez cool.
00:07:24Et vous pouvez voir comment il y a aussi la Terre
00:07:26en quelque sorte divisée en,
00:07:29vous savez,
00:07:29journée versus nuit et tout ça.
00:07:31Donc dans l'ensemble,
00:07:31ça a l'air plutôt sympa.
00:07:32Maintenant, jetons un œil à Fable 5.
00:07:34Alors tout de suite,
00:07:36je dirais que ces graphismes
00:07:38ont l'air un petit peu plus propres,
00:07:39n'est-ce pas ?
00:07:39Si nous comparons ces deux-là,
00:07:40cela a l'air juste un petit peu plus net.
00:07:43Nous avons aussi un peu d'éclairage,
00:07:44ce qui est cool.
00:07:45Nous avons ce même genre de
00:07:46journée,
00:07:46répartition de la nuit,
00:07:47mais je peux en fait,
00:07:49j'ai une molette de défilement,
00:07:51une petite chose juste ici
00:07:52où je peux passer du jour à la nuit,
00:07:55ce qui est assez génial.
00:07:57Je ne peux pas zoomer aussi loin,
00:08:00mais je peux voir davantage de ces villes
00:08:02et le rendu est un peu plus fidèle.
00:08:04Si je clique sur l'une d'elles,
00:08:06voilà,
00:08:06c'est comme avant,
00:08:08ça affiche des statistiques.
00:08:09La latitude et la longitude montrent les conditions
00:08:11en termes de météo et d'heure
00:08:12et un peu ce qu'est le tarif.
00:08:15Il affiche le tarif de retour,
00:08:16bien que je ne sois pas tout à fait sûr
00:08:17d'où cela provient exactement.
00:08:19Si je clique ici sur la gauche,
00:08:21c'est la même chose,
00:08:22ça m'emmène vers cette ville.
00:08:24Je peux voir quelques statistiques
00:08:25ainsi que ce que cela coûterait.
00:08:27Je pense que dans l'ensemble,
00:08:29en termes de finition de l'interface utilisateur
00:08:33entre les deux,
00:08:34je pense que je préfère
00:08:36ce que Fable 5 a proposé,
00:08:38surtout ce genre de,
00:08:40vous savez,
00:08:41le passage du jour à la nuit
00:08:42qui se produit.
00:08:44Et chose intéressante,
00:08:45on dirait que
00:08:46quand je change l'heure
00:08:48pendant la journée,
00:08:48on voit que cela met à jour
00:08:50le coût
00:08:51sur le côté droit
00:08:52en fonction du moment où vous
00:08:53atterririez là-bas.
00:08:55Donc, plutôt bien.
00:08:56Et maintenant, regardons GPT 5.6.
00:08:59Premières impressions,
00:09:01ça semble être un recul
00:09:02par rapport à ce que nous avons vu
00:09:03avec Kimi K3
00:09:04et Fable
00:09:04en ce qui concerne le globe lui-même.
00:09:06Ces globes
00:09:07ont vraiment beaucoup plus d'éléments
00:09:09et sont beaucoup plus
00:09:09visuellement impressionnants.
00:09:11Celui-ci,
00:09:11je pense qu'ils ont presque opté pour
00:09:12un look plus science-fiction.
00:09:15Qui a comme des trucs aléatoires,
00:09:17c'est comme,
00:09:17est-ce que c'est censé être ?
00:09:19D'accord.
00:09:20C'est la même chose,
00:09:21si je clique sur certaines villes ici
00:09:23comme Singapour,
00:09:24ça apparaît,
00:09:24mais ça chevauche
00:09:26le globe lui-même
00:09:27et tout est si petit en termes de texte,
00:09:29c'est assez difficile à lire.
00:09:31J'ai bien ici en bas
00:09:33une sorte de balayage
00:09:35jour contre nuit
00:09:36comme nous avions là-bas
00:09:37avec Fable 5,
00:09:39mais ce n'est pas aussi bien.
00:09:42Et quand c'est la nuit,
00:09:43on ne peut même pas voir
00:09:44le continent lui-même.
00:09:45J'imagine que ces lumières
00:09:46sont censées être des villes.
00:09:47Si je clique ici sur la gauche,
00:09:49oui,
00:09:50comme avant
00:09:51ça nous emmène vers ces villes.
00:09:53Mais encore une fois,
00:09:53ça ressemble vraiment à un recul
00:09:54par rapport aux deux derniers que nous avons vus.
00:09:56Dans l'ensemble,
00:09:56quand nous comparons ces trois-là,
00:09:57je placerais Fable 5 en tête.
00:10:00Pas très loin derrière,
00:10:02je mettrais Kimi K3
00:10:04et enfin en troisième place,
00:10:05je mettrais GPT 5.6.
00:10:07Alors maintenant, comparons les jetons,
00:10:09le temps et le coût
00:10:10car nous avons vu le résultat final,
00:10:11mais qu'avons-nous dû
00:10:13payer pour cela ?
00:10:15Nous avions Kimi,
00:10:16nous avions Fable
00:10:17et puis nous avions Codex,
00:10:19que je vais simplement noter X.
00:10:21Donc en termes de jetons,
00:10:24Kimi était de loin le plus lourd.
00:10:26Il a fallu 21,5 millions de jetons
00:10:30pour obtenir cela.
00:10:31Et en termes de temps,
00:10:33cela a pris une heure
00:10:35et 33 minutes.
00:10:37Donc plus de 90 minutes
00:10:39pour créer cela
00:10:39avec 21,5 millions de jetons.
00:10:42Coût,
00:10:42et tout cela vient
00:10:43d'Open Router,
00:10:44c'était 8,66 $.
00:10:47Parlons maintenant de Fable.
00:10:49En termes de jetons,
00:10:50il en a utilisé 3,5 millions.
00:10:53En termes de temps,
00:10:55cela a pris seulement 17 minutes
00:10:56et le coût total
00:10:58était de 11,64 $.
00:11:00Alors encore une fois,
00:11:02de quoi ai-je parlé
00:11:02au début ?
00:11:03Nous avons parlé de vitesse
00:11:04et d'efficacité des jetons.
00:11:06Kimi K3 est clairement
00:11:07bien derrière Fable
00:11:09à cet égard,
00:11:09surtout quand il s'agit
00:11:11de temps.
00:11:11Et donc, quand nous avons regardé
00:11:12ce coût par million de jetons
00:11:14par million,
00:11:15c'était comme,
00:11:16oh,
00:11:16c'est un tiers du coût
00:11:17de Fable.
00:11:18Eh bien,
00:11:19en réalité,
00:11:20pas vraiment.
00:11:20Toujours moins cher que Fable.
00:11:22Ne vous méprenez pas,
00:11:23mais pas aussi
00:11:25efficace.
00:11:26Ensuite, nous avons eu Codex,
00:11:27dont j'ai été assez
00:11:28déçu par son résultat,
00:11:28pour être tout à fait honnête.
00:11:29Il a utilisé 5,6 millions de jetons.
00:11:32Pour le temps,
00:11:33cela a pris 25 minutes
00:11:35et son coût total
00:11:36était de 5,66 $.
00:11:38Si vous vous demandez
00:11:39comme pour les jetons
00:11:40et le coût
00:11:42et pourquoi ça ne
00:11:42correspond pas exactement
00:11:43aux entrées
00:11:44par rapport aux sorties
00:11:44par rapport à ce qui est annoncé,
00:11:46comprenez qu'il y a beaucoup
00:11:47de mise en cache
00:11:48pour ces trois-là.
00:11:49Alors qu'est-ce que cela
00:11:51signifie ?
00:11:52Eh bien,
00:11:52le gros point, c'est Kimi,
00:11:53n'est-ce pas ?
00:11:55Très lourd
00:11:56sur les jetons
00:11:57et ça a pris une éternité.
00:11:59Ça a pris une heure
00:12:00et demie.
00:12:00Pour être honnête,
00:12:01quand je faisais cette vidéo,
00:12:01je me disais,
00:12:02oh,
00:12:02peut-être que je vais en faire trois,
00:12:03vous savez,
00:12:03trois,
00:12:04peut-être même quatre exemples.
00:12:05Non,
00:12:06je ne vais pas rester assis ici
00:12:07pendant 20 heures pour faire ça.
00:12:09Et,
00:12:09vous savez,
00:12:10donc bien derrière
00:12:11sur ces deux points
00:12:12par rapport aux modèles Frontier,
00:12:13mais dans l'ensemble,
00:12:14son résultat était solide.
00:12:15Vous savez,
00:12:15je pense qu'il a fait
00:12:16du très bon travail,
00:12:17tout bien considéré.
00:12:18Et le plus cher
00:12:19du lot,
00:12:20évidemment,
00:12:20c'était Fable
00:12:21avec Fable
00:12:22et Codex comme le moins cher.
00:12:24Alors, que peut-on vraiment
00:12:26tirer de tout ça ?
00:12:27Eh bien,
00:12:27je pense que ce que l'on peut conclure,
00:12:29du moins ici,
00:12:29côté front-end,
00:12:31et cela s'applique
00:12:32probablement aussi au codage
00:12:32si l'on veut prendre
00:12:33les benchmarks
00:12:33tels quels,
00:12:34c'est que Kimi
00:12:36peut rivaliser.
00:12:37Kimi K3
00:12:38est un modèle open source
00:12:39capable de rivaliser
00:12:40avec Fable en 5.6.
00:12:42Cependant,
00:12:43ce n'est pas aussi bon marché
00:12:45qu'on pourrait le penser.
00:12:46Dans certains cas,
00:12:47c'est plus cher.
00:12:49Et c'est tout simplement lent.
00:12:51C'est tellement lent.
00:12:54Ce qui est un peu
00:12:55rédhibitoire
00:12:55pour beaucoup de gens
00:12:56selon ce que vous faites.
00:12:58Mais,
00:12:58si cela vous convient,
00:13:01vous savez,
00:13:02alors peut-être que ce n'est
00:13:03pas vraiment un inconvénient.
00:13:03Mais je pense
00:13:04que le plus gros point
00:13:05qui se perd un peu
00:13:06dans les benchmarks
00:13:06et les chiffres,
00:13:07c'est vraiment le coût.
00:13:08N'est-ce pas ?
00:13:09Parce que ce n'est pas
00:13:09aussi bon marché
00:13:10qu'on pourrait s'y attendre
00:13:11à cause de cette
00:13:12inefficacité
00:13:12lorsqu'il s'agit
00:13:14d'utiliser réellement des jetons.
00:13:15C'est donc là
00:13:16que je vous laisse.
00:13:16J'espère avoir pu
00:13:17éclaircir un peu plus
00:13:18le cas de Kimi K3.
00:13:19Je trouve ça génial.
00:13:20Nous avons un modèle open source
00:13:21capable de rivaliser.
00:13:22Mais ne nous emballons pas
00:13:23trop vite
00:13:23en ce qui concerne
00:13:24sa puissance brute
00:13:25et plus précisément
00:13:26son coût.
00:13:27À la fois en termes d'argent
00:13:28et de temps.
00:13:29Alors,
00:13:30dites-moi dans les commentaires
00:13:31ce que vous en avez pensé.
00:13:31Assurez-vous de découvrir
00:13:32Chase AIA Plus
00:13:32si vous voulez mettre la main
00:13:33sur ma Masterclass “Cloud Code”
00:13:34qui inclut également
00:13:35une Masterclass sur Codex
00:13:36ces derniers temps.
00:13:37À part ça,
00:13:39on se revoit bientôt.