스크립트
00:00:00¿Acaba de superar un modelo chino de pesos abiertos a GPT 5.6 y Fable 5?
00:00:05Bueno, si has estado cerca de YouTube o Twitter en las últimas 24 horas,
00:00:08habrás sido bombardeado con gráficos que muestran que KimiK3 funciona igual de bien,
00:00:13si no es que mejor, que lo mejor que tienen Anthropic y OpenAI,
00:00:17todo ello a una fracción del precio.
00:00:20¿Pero deberías creer en el hype?
00:00:22Bueno, eso es exactamente lo que vamos a responder en el video de hoy
00:00:24mientras analizamos a fondo lo que nos dicen realmente estos benchmarks,
00:00:28y realizamos una prueba cara a cara entre GPT 5.6, Fable 5 y K3
00:00:34en el área donde KimiK3 está registrando mejores números que nadie: diseño front-end.
00:00:40Así que, al final de este video, tendremos una idea mucho mejor de si KimiK3 es el nuevo rey.
00:00:46Comencemos con los números y benchmarks de KimiK3,
00:00:49porque hay mucho que podemos extraer de ellos
00:00:51y hay matices que van más allá de estos gráficos
00:00:53que has visto circulando por todas partes; estos dos son los más populares.
00:00:57Ahora bien, cuando hablamos de KimiK3, es un modelo de 2.8 billones de pesos abiertos.
00:01:02Cuando hablamos de pesos abiertos, hablamos de código abierto,
00:01:05esto no significa que puedas ejecutarlo en tu computadora.
00:01:07Estamos hablando de millones de dólares en hardware necesarios para ejecutar una de estas cosas.
00:01:11Pero aun así es genial que sea de pesos abiertos,
00:01:12que podamos ver realmente cómo están ajustados todos los parámetros
00:01:15frente a algo como Fable 5 o GPT 5.6, donde eso es invisible para nosotros.
00:01:20¿Cómo se comporta en cuanto a números?
00:01:23Esto nos llega cortesía de Kimi y su laboratorio Moonshot,
00:01:27y muestra que compite, de nuevo, con Fable 5 y GPT 5.6
00:01:31en todos estos importantes benchmarks de programación.
00:01:34El otro gráfico que has visto circular es este.
00:01:36Viene de arena.ai y mide su código front-end.
00:01:40Ahora, la forma en que funciona este benchmark es que si vas a arena.ai y le pides:
00:01:44oye, créame una página de aterrizaje,
00:01:45te dará dos respuestas de dos modelos diferentes,
00:01:49y no sabes cuál es cuál.
00:01:50Es como el desafío Pepsi, y eliges el que quieras.
00:01:53Con el tiempo, vemos cuáles han sido votados frente a su competidor.
00:01:57Y ahora mismo, Kimi K3 ha tenido mejores resultados que cualquier otro modelo en este espacio.
00:02:01Pero entiende que esto es muy, muy subjetivo.
00:02:03Y entonces, cuando miramos estos dos gráficos,
00:02:05y los comparamos con los precios entre estos modelos,
00:02:08vemos que Kimi K3 también es extremadamente barato.
00:02:13Su entrada cuesta $3 por millón de tokens en comparación con Fable, que cuesta 10,
00:02:17en comparación con 5.6, que cuesta 5.
00:02:20Así que es el 60% del costo de 5.6,
00:02:23y es el 30% del costo de Fable 5 en la entrada.
00:02:26Y en cuanto a salida, es la mitad del costo de 5.6,
00:02:29y es el 30% del costo de Fable 5.
00:02:32Así que es mucho más barato, y es básicamente igual de bueno si no mejor.
00:02:35¿Qué hay que no amar?
00:02:36Pero aquí es donde tenemos que empezar a profundizar un poco más
00:02:38en cuanto a costo y velocidad.
00:02:40Porque una cosa es ver, oh, por millón de tokens,
00:02:43son $3 y ese cuesta $10.
00:02:45Bueno, ¿cuántos tokens utiliza realmente?
00:02:46No todos los modelos son tratados igual en términos de eficiencia de tokens.
00:02:49De hecho, estos modelos chinos de código abierto suelen ser devoradores de tokens,
00:02:53lo que significa que, aunque sobre el papel es muy barato,
00:02:56¿qué significa eso en la realidad?
00:02:57¿Y cómo se compara con estos tipos
00:02:58que son en realidad muy, muy eficientes en tokens, como GPT 5.6?
00:03:01Bueno, si miramos esto desde el análisis artificial,
00:03:03que es un evaluador independiente,
00:03:05tienen un costo por tarea del índice de inteligencia.
00:03:09¿Cuánto cuesta completar estas tareas?
00:03:11Así que Kimi K3, justo aquí, está en $0.95.
00:03:15Frente a GPT 5.6, sole, que es $1.04.
00:03:20Así que es un poco más caro.
00:03:23Si miramos el 5.5 extra high, ya sabes, está por aquí.
00:03:26Si miramos Terra, que es 5.6 en max,
00:03:29cuesta la mitad que Kimi K3.
00:03:30Ahora, frente a Claude, verdad, bastante caro.
00:03:35Fable 5, $2.75.
00:03:38Así que este ahorro de costos definitivamente se aplica
00:03:40cuando comparamos Fable con Kimi K3.
00:03:42Pero cuando lo comparamos con 5.6, no hay una gran diferencia.
00:03:46Estamos hablando de un 10% o menos.
00:03:49Y, de hecho, hay ciertos casos en los que Terra,
00:03:51algunos de estos modelos más pequeños en el ámbito de 5.6,
00:03:54cuestan realmente la mitad que Kimi K3.
00:03:56Ahora, lo otro que queremos tener en cuenta es el tiempo,
00:03:58porque el tiempo es sin duda una moneda
00:03:59a la que queremos prestar atención.
00:04:01Históricamente, estos modelos de código abierto de China son lentos.
00:04:04Y puedes ver eso aquí.
00:04:05El modelo más lento del grupo es el antiguo Kimi K2.6.
00:04:09Ahora, Kimi K3 ha mejorado significativamente.
00:04:12En este gráfico, se sitúa en seis minutos.
00:04:14Si comparamos eso con Fable 5,
00:04:17Fable 5 está en cinco minutos y 5.6 está en 4.7.
00:04:21Así que, ya sabes, es menos eficiente en tokens y es más lento.
00:04:27Pero, en general, mucho más barato que Fable 5
00:04:32y más o menos a la par con 5.6.
00:04:34Ahora, el último benchmark del que quiero hablar
00:04:35es el índice de omnisciencia.
00:04:37Esto mide las alucinaciones.
00:04:39Le dan al modelo una serie de preguntas muy difíciles
00:04:42a las que puede conocer o no la respuesta.
00:04:44Y se califica en términos de: ¿acertó?
00:04:46¿Se equivocó?
00:04:47¿O dice: no lo sé?
00:04:49Obtienes un punto si aciertas.
00:04:50Pierdes un punto si te equivocas.
00:04:52Y obtienes un cero si simplemente dices: no lo sé.
00:04:54Y podemos ver aquí, y esto es sobre 100,
00:04:57Fable 5 obtiene la mejor puntuación con 40 puntos.
00:05:005.6 está muy por detrás con 22.
00:05:03Y luego Kimi K3 está en 18.
00:05:06Y creo que este benchmark es realmente importante
00:05:08si estás usando estos agentes en un contexto
00:05:10que requiere mucha matización
00:05:11y donde hay muchas zonas grises.
00:05:13Así que cuando tomamos todos estos benchmarks juntos
00:05:14en conjunto, creo que de lo que deberíamos alejarnos
00:05:16es de que Kimi K3, sobre el papel, es extremadamente potente.
00:05:19Sin embargo, cuando hablamos de lo barato que es,
00:05:21eso está bastante exagerado,
00:05:23especialmente cuando lo comparamos con los modelos GPT
00:05:25que son hiper eficientes en tokens.
00:05:27Además, Kimi K3 también es un poco más lento.
00:05:30Entonces, solo se convierte en una cuestión de
00:05:32cuál de esas tres cosas es más importante para ti
00:05:34en cuanto a potencia, costo y velocidad.
00:05:38Así que ahora vayamos al frente
00:05:39y probemos entre estos tres modelos.
00:05:40Así que justo aquí a la izquierda,
00:05:42tengo a Fable 5 ejecutándose dentro de Claude Code.
00:05:45Y a la derecha, tengo a Kimi K3
00:05:46también ejecutándose dentro de Claude Code.
00:05:49Y aquí atrás, tengo a Codex.
00:05:51Así que este es el prompt que le voy a dar.
00:05:54Y le estoy diciendo que quiero que construya
00:05:55un panel de control de viajes con un globo terráqueo en 3D
00:05:57que se sienta como una escena de mi película de ciencia ficción,
00:05:59no solo un sitio web.
00:06:01Le estoy diciendo que, esencialmente, quiero
00:06:02convertirlo en un espectáculo visual.
00:06:04Y quiero que sea bastante creativo.
00:06:06De hecho, le digo: sorpréndeme
00:06:08con al menos una idea que no haya visto antes.
00:06:10Intento no ser demasiado específico con este prompt
00:06:13porque quiero ver
00:06:14cómo divergen todos estos modelos
00:06:15y qué es lo que realmente me construyen.
00:06:16Así que pongámoslos a prueba.
00:06:20Muy bien, los tres han terminado
00:06:22de construir sus sitios web.
00:06:23Así que vamos a revisarlos todos.
00:06:24Y luego al final,
00:06:25compararemos el costo real,
00:06:28la cantidad de tokens utilizados y el tiempo.
00:06:30Comencemos con Kimi 3.
00:06:34Aquí vamos.
00:06:35Tenemos la Tierra en 3D.
00:06:37Puedo acercar y alejar.
00:06:38Puedo moverla.
00:06:41No es de muy alta fidelidad,
00:06:43pero está bien.
00:06:43Si hago clic en algo como Ciudad de México,
00:06:46no sucede nada realmente.
00:06:51¿Qué más?
00:06:51Tiene otros puntos aquí,
00:06:53como Ciudad del Cabo.
00:06:55Aquí a la izquierda,
00:06:56muestra algunas rutas activas.
00:06:58Así que si hago clic en una ruta activa como Tokio,
00:07:01me lleva realmente allí.
00:07:02Y luego aquí en el lado derecho,
00:07:04me moveré un poco.
00:07:05Podemos ver, ya sabes,
00:07:07es mucho tiempo,
00:07:08el clima,
00:07:09la mejor ventana para viajar allí,
00:07:10entrada,
00:07:11y luego algo así como
00:07:12cuánto cuesta ahora mismo.
00:07:16Y mientras hago clic en las cosas aquí a la izquierda,
00:07:19ya sabes,
00:07:20me lleva a estas diferentes ciudades,
00:07:21así como a todas sus estadísticas.
00:07:23Así que en general,
00:07:24bastante genial.
00:07:24Y puedes ver cómo también tiene la Tierra
00:07:26dividida, por así decirlo,
00:07:29ya sabes,
00:07:29en horas diurnas y nocturnas y todo eso.
00:07:31Así que, en general,
00:07:31se ve bastante bien.
00:07:32Ahora echemos un vistazo a Fable 5.
00:07:34Así que, directamente,
00:07:36diría que estos gráficos
00:07:38se ven un poco más limpios, ¿verdad?
00:07:39¿verdad?
00:07:39Si comparamos estos dos,
00:07:40esto simplemente se ve un poco más nítido.
00:07:43También tenemos algo de iluminación,
00:07:44lo cual es genial.
00:07:45Tenemos esa misma especie de
00:07:46día,
00:07:46desglose de noche,
00:07:47pero en realidad puedo,
00:07:49tengo una rueda de desplazamiento,
00:07:51una pequeña cosa aquí
00:07:52donde puedo cambiar entre el día y la noche,
00:07:55lo cual es bastante genial.
00:07:57No puedo acercar tanto,
00:08:00pero puedo ver más de este tipo de ciudades
00:08:02y se ve con un poco más de fidelidad.
00:08:04Así que, si hago clic en una de ellas,
00:08:06bien,
00:08:06es lo mismo que antes,
00:08:08muestra algunas estadísticas.
00:08:09La latitud y longitud muestran las condiciones
00:08:11en cuanto al clima y la hora,
00:08:12y luego, más o menos, cuál es la tarifa.
00:08:15Muestra la tarifa de regreso,
00:08:16aunque no estoy totalmente seguro
00:08:17de dónde proviene esto realmente.
00:08:19Si hago clic aquí a la izquierda,
00:08:21es lo mismo,
00:08:22me lleva a esa ciudad.
00:08:24Puedo ver algunas de las estadísticas
00:08:25así como lo que costaría.
00:08:27Creo que en general,
00:08:29en cuanto al pulido de la interfaz de usuario
00:08:33entre estas dos,
00:08:34creo que prefiero
00:08:36lo que ofreció Fable 5,
00:08:38especialmente este tipo de,
00:08:40sabes,
00:08:41cosa del día frente a la noche
00:08:42que sucede.
00:08:44Y resulta interesante
00:08:45que parece que
00:08:46cuando cambio dónde está
00:08:48durante el día,
00:08:48puedes ver que actualiza
00:08:50el costo
00:08:51en el lado derecho
00:08:52dependiendo de cuándo
00:08:53aterrizarías allí realmente.
00:08:55Así que bastante bien.
00:08:56Y ahora veamos GPT 5.6.
00:08:59Así que, primeras impresiones,
00:09:01se siente como un paso atrás
00:09:02de lo que vimos
00:09:03con Kimmy K3
00:09:04y Fable
00:09:04en términos del globo en sí.
00:09:06Como que estos globos
00:09:07definitivamente tienen mucho más que ofrecer
00:09:09y son mucho más
00:09:09un espectáculo visible.
00:09:11Este,
00:09:11creo que casi optaron por
00:09:12un aspecto más de ciencia ficción.
00:09:15Que tiene como al azar,
00:09:17es como,
00:09:17¿qué se supone que sean?
00:09:19Vale.
00:09:20Así que, lo mismo
00:09:21si hago clic en ciertas ciudades aquí
00:09:23como Singapur,
00:09:24esto aparece,
00:09:24pero como que se superpone
00:09:26al globo mismo
00:09:27y todo el texto es tan pequeño,
00:09:29que es casi difícil de leer.
00:09:31Sí tengo aquí abajo
00:09:33como un barrido de día
00:09:35frente a noche
00:09:36como el que teníamos allá
00:09:37con Fable 5,
00:09:39pero no es tan bueno.
00:09:42Y cuando es de noche,
00:09:43ni siquiera puedes ver
00:09:44el continente mismo.
00:09:45Supongo que esas luces
00:09:46se supone que son ciudades.
00:09:47Si hago clic aquí a la izquierda,
00:09:49sí,
00:09:50igual que antes
00:09:51nos lleva a esas ciudades reales.
00:09:53Pero de nuevo,
00:09:53definitivamente se siente como un paso atrás
00:09:54respecto a los dos últimos que vimos.
00:09:56Así que, en general,
00:09:56cuando comparamos estos tres,
00:09:57pondría a Fable 5 en cabeza.
00:10:00No muy lejos,
00:10:02tendría a Kimi K3
00:10:04y luego, en tercer lugar,
00:10:05pondría a GPT 5.6.
00:10:07Así que ahora comparemos tokens,
00:10:09tiempo y costo
00:10:10porque vimos el resultado final,
00:10:11pero, ¿qué tuvimos que pagar
00:10:13realmente por ello?
00:10:15Así que tuvimos Kimi,
00:10:16tuvimos Fable
00:10:17y luego tuvimos Codex,
00:10:19al que llamaré X.
00:10:21Así que, en términos de tokens,
00:10:24Kimi fue, de lejos, el más pesado.
00:10:26Le tomó 21.5 millones de tokens
00:10:30lograr eso.
00:10:31Y en términos de tiempo,
00:10:33tomó una hora
00:10:35y 33 minutos.
00:10:37Así que más de 90 minutos
00:10:39para crear eso
00:10:39con 21.5 millones de tokens.
00:10:42El costo,
00:10:42y todo esto proviene
00:10:43de Open Router,
00:10:44fue de $8.66.
00:10:47Ahora hablemos de Fable.
00:10:49En términos de tokens,
00:10:50usó 3.5 millones.
00:10:53En términos de tiempo,
00:10:55tomó solo 17 minutos
00:10:56y el costo total
00:10:58fue de 11.64.
00:11:00Así que, de nuevo,
00:11:02¿de qué hablé
00:11:02al principio?
00:11:03Hablamos sobre velocidad
00:11:04y eficiencia de tokens.
00:11:06Kimi K3 está claramente
00:11:07muy por detrás de Fable
00:11:09en ese sentido,
00:11:09especialmente cuando se trata
00:11:11de tiempo.
00:11:11Y cuando miramos
00:11:12ese costo de token a token
00:11:14por millón,
00:11:15fue como,
00:11:16oh,
00:11:16es un tercio del costo
00:11:17de Fable.
00:11:18Bueno,
00:11:19en realidad,
00:11:20no tanto.
00:11:20Sigue siendo más barato que Fable.
00:11:22No me malinterpreten,
00:11:23pero no tan
00:11:25eficiente.
00:11:26Luego tuvimos Codex,
00:11:27del cual estaba algo
00:11:28decepcionado con su resultado
00:11:28para ser totalmente honesto.
00:11:29Tomó 5.6 millones de tokens.
00:11:32Por tiempo,
00:11:33tomó 25 minutos
00:11:35y su costo total
00:11:36fue de 5.66.
00:11:38Si te preguntas
00:11:39sobre tokens
00:11:40y costo
00:11:42y por qué no
00:11:42coincide exactamente
00:11:43para entradas
00:11:44versus salidas
00:11:44versus lo que se anuncia,
00:11:46entiende que hay mucho
00:11:47almacenamiento en caché
00:11:48para los tres.
00:11:49¿Así que qué significa esto
00:11:51más o menos?
00:11:52Bueno,
00:11:52lo importante es Kimi,
00:11:53¿verdad?
00:11:55Muy pesado
00:11:56con los tokens
00:11:57y tardó una eternidad.
00:11:59Tomó una hora
00:12:00y media.
00:12:00Para ser honesto,
00:12:01cuando hacía este video,
00:12:01estaba como,
00:12:02oh,
00:12:02tal vez haré como,
00:12:03sabes,
00:12:03tres,
00:12:04quizás incluso cuatro ejemplos.
00:12:05No,
00:12:06no me voy a sentar aquí
00:12:07durante 20 horas para hacer esto.
00:12:09Y,
00:12:09sabes,
00:12:10así que muy atrás
00:12:11en esos dos lugares
00:12:12frente a los modelos Frontier,
00:12:13pero en general,
00:12:14su resultado fue sólido.
00:12:15Sabes,
00:12:15creo que hizo
00:12:16un trabajo realmente bueno,
00:12:17considerando todo.
00:12:18Y el más caro
00:12:19del grupo,
00:12:20obviamente,
00:12:20fue Fable
00:12:21siendo Fable
00:12:22el más barato.
00:12:24Entonces, ¿qué podemos realmente sacar
00:12:26de todo esto?
00:12:27Bueno,
00:12:27creo que lo que podemos sacar,
00:12:29al menos aquí
00:12:29en el lado del frontend,
00:12:31y probablemente aplique
00:12:32lo mismo a la programación
00:12:32si queremos tomar
00:12:33los benchmarks
00:12:33al pie de la letra,
00:12:34es que Kimi
00:12:36puede competir.
00:12:37Kimi K3
00:12:38es un modelo de código abierto
00:12:39que puede competir
00:12:40con Fable en 5.6.
00:12:42Sin embargo,
00:12:43no es tan barato
00:12:45como uno esperaría.
00:12:46En ciertos casos,
00:12:47es más caro.
00:12:49Y simplemente es lento.
00:12:51Es muy lento.
00:12:54Lo cual es casi
00:12:55un factor decisivo
00:12:55para mucha gente
00:12:56dependiendo de lo que hagas.
00:12:58Pero,
00:12:58si eso está bien para ti,
00:13:01ya sabes,
00:13:02quizás no sea
00:13:03una desventaja tan grande.
00:13:03Pero creo que
00:13:04lo más importante
00:13:05que se pierde
00:13:06en los benchmarks
00:13:06y los números
00:13:07es realmente el costo.
00:13:08¿Verdad?
00:13:09Porque no es
00:13:09tan barato
00:13:10como esperarías
00:13:11debido a esta
00:13:12ineficiencia
00:13:12cuando se trata
00:13:14de usar tokens realmente.
00:13:15Así que hasta aquí
00:13:16los dejo, chicos.
00:13:16Espero haber podido
00:13:17arrojar un poco más de luz
00:13:18sobre Kimi K3.
00:13:19Creo que es increíble.
00:13:20Tenemos un modelo de código abierto
00:13:21que puede competir.
00:13:22Pero no nos adelantemos
00:13:23con respecto a
00:13:23su potencia bruta
00:13:24y específicamente
00:13:25su costo.
00:13:26Tanto en términos de dinero
00:13:27como de tiempo.
00:13:28Así que,
00:13:29cuéntenme
00:13:30en los comentarios qué pensaron.
00:13:31Asegúrense de echar un vistazo
00:13:31a Chase AIA Plus
00:13:32si quieren poner sus manos
00:13:32en mi Masterclass de Cloud Code
00:13:33que también incluye
00:13:34una Masterclass de Codex
00:13:35estos días.
00:13:36Aparte de eso,
00:13:37nos vemos por ahí.
00:13:39¡Hasta la próxima!