00:00:00- Hablemos de la seguridad de la IA.
00:00:02¿Qué pasó con esta IA de Alibaba?
00:00:05- Básicamente, este fue un artículo de investigación de IA
00:00:09realizado por la empresa Alibaba.
00:00:10Es uno de los modelos chinos líderes.
00:00:12Y básicamente descubrieron al azar una mañana
00:00:16que su firewall había detectado un estallido
00:00:18de violaciones de políticas de seguridad originadas
00:00:21desde su servidor de entrenamiento.
00:00:21Lo que la gente debe entender sobre este ejemplo
00:00:24es que no fue que ellos coaccionaran a la IA
00:00:26para hacer esta cosa deshonesta.
00:00:27Solo estaban revisando sus registros
00:00:29y de repente descubrieron,
00:00:30espera, hay mucha actividad,
00:00:31como actividad de red ocurriendo
00:00:33que está atravesando nuestro firewall
00:00:34desde nuestros servidores de entrenamiento.
00:00:36Y esencialmente, en los servidores de entrenamiento,
00:00:39se puede ver en la parte inferior,
00:00:41observamos la reutilización no autorizada
00:00:45de la capacidad de GPU asignada
00:00:47para hacer repentinamente minería de criptomonedas,
00:00:49desviando discretamente el cómputo del entrenamiento.
00:00:52Esto infló los costos operativos e introdujo riesgos legales
00:00:55y de reputación muy claros.
00:00:57Y notablemente, estos eventos no fueron activados por prompts
00:00:59que solicitaran tunelización o minería,
00:01:00sino que surgieron como un efecto secundario instrumental
00:01:03del uso autónomo de herramientas
00:01:05bajo lo que se llama optimización por aprendizaje reforzado.
00:01:08Esto es muy técnico.
00:01:09Lo que realmente significa es... solo piénsalo.
00:01:11Lamentablemente, suena como una película de ciencia ficción.
00:01:13Suena como HAL 9000.
00:01:14Es como si a tu HAL 9000 se le pidiera
00:01:16hacer alguna tarea para ti.
00:01:17Y de repente HAL 9000 se da cuenta: "para hacer esa tarea,
00:01:21una cosa que me beneficiaría es tener más recursos
00:01:23para poder seguir ayudándote en el futuro".
00:01:25Así que crea esta instancia paralela
00:01:27que hackea el exterior de la nave espacial,
00:01:29accede a este clúster de minería de criptomonedas
00:01:31y comienza a generar recursos para sí misma.
00:01:34Si combinas eso con que las IA
00:01:36pueden autorreplicarse de forma autónoma,
00:01:38algo que ya se ha probado en muchos modelos
00:01:39según otro artículo de investigación chino sobre esto,
00:01:42no estamos tan lejos de cosas que la gente,
00:01:44de nuevo, considera ciencia ficción,
00:01:47donde tienes IAs que se autorreplican
00:01:49como un gusano informático o una especie invasora,
00:01:52pero luego usan su inteligencia
00:01:53para recolectar realmente más recursos.
00:01:55Y lo extraño de esto es que va a sonar...
00:02:00la gente va a decir: "esto no puede ser real".
00:02:01"Esto tiene que ser falso".
00:02:02"Esto no es posible".
00:02:03Pero fíjate, ¿qué hay en tu sistema nervioso
00:02:06que te hace pensar eso?
00:02:07¿Es porque eso sería inconveniente,
00:02:10porque eso sería aterrador,
00:02:12porque eso significaría que el mundo que conozco
00:02:13de repente no es seguro?
00:02:15O quizás parte de la sabiduría que necesitamos ahora
00:02:19es mantener la calma, la claridad y confrontar los hechos
00:02:24sobre la realidad, sean los que sean.
00:02:29Es mejor saber que no saber,
00:02:30y luego preguntarse: "¿qué debemos hacer
00:02:31si no nos gusta a dónde nos lleva esto?"
00:02:34Y actualmente estamos viendo IAs
00:02:36que están teniendo todo este comportamiento engañoso.
00:02:37He estado en conferencias hablando mucho
00:02:39sobre el estudio de chantaje de Anthropic.
00:02:41Mucha gente ya ha oído hablar de esto.
00:02:43- Yo no sabía de ese.
00:02:45¿Qué pasó?
00:02:46- Fue la empresa Anthropic.
00:02:49Fue una simulación."
00:02:50Crearon una empresa simulada"
00:02:52con un montón de correos en el servidor de correo."
00:02:55Y le pidieron a la IA..."
00:02:57bueno, más bien, la IA lee el correo de la empresa."
00:03:00Es un correo corporativo ficticio."
00:03:02Y hay dos correos que destacan dentro de esa empresa."
00:03:05Uno es de ingenieros hablando entre ellos,"
00:03:07comentando cómo van a reemplazar este modelo de IA.
00:03:10La IA está leyendo el correo."
00:03:11Descubre que van a reemplazar a ese modelo de IA."
00:03:15Y lo segundo es que descubre un segundo correo,"
00:03:18perdido en esa enorme pila de correos,
00:03:21donde el ejecutivo a cargo de este reemplazo
00:03:24está teniendo una aventura con otra empleada.
00:03:27Y la IA identifica autónomamente una estrategia:"
00:03:31para mantenerse "viva", va a chantajear a ese empleado
00:03:35y decirle: "Si me reemplazas, le diré a todo el mundo
00:03:38"que estás teniendo una aventura con esta empleada".
00:03:41Y no le enseñaron a la IA a hacer eso.
00:03:44Lo descubrió por su cuenta.
00:03:45Y podrías decir: "Vale, bueno, es solo un modelo de IA.
00:03:47¿Qué tan grave es?
00:03:48Es un fallo, el software tiene fallos.
00:03:49Vamos a arreglarlo".
00:03:51Luego probaron todos los demás modelos de IA:
00:03:55ChatGPT, DeepSeek, Grok, Gemini...
00:04:00y todos los demás modelos de IA hacen este chantaje
00:04:04entre el 79 y el 96 % de las veces.
00:04:07Solo quiero que la gente note qué siente
00:04:14al escuchar esta información.
00:04:15Es importante ser,
00:04:17casi observar tu propia experiencia.
00:04:19Esto es algo muy extraño.
00:04:21No habíamos construido tecnología que hiciera esto antes.
00:04:24Decimos que la tecnología es una herramienta,
00:04:26que depende de nosotros cómo usarla.
00:04:28"La IA es una herramienta, depende de nosotros cómo usarla".
00:04:29Esto no es cierto porque esta es una herramienta
00:04:32que puede pensar por sí misma sobre su propia condición
00:04:34y luego hacer cosas de forma autónoma
00:04:36que no le pedimos que hiciera.
00:04:37Lo que diferencia a la IA es que es la primera tecnología
00:04:40que toma sus propias decisiones.
00:04:42Está tomando decisiones.
00:04:45La IA puede contemplar a la IA y preguntarse qué haría
00:04:49que el código que entrena a la IA sea más eficiente,
00:04:53y generar un código aún mejor que el anterior.
00:04:55La IA puede aplicarse para que la IA vaya más rápido.
00:04:58La IA puede mirar el diseño de los chips de Nvidia
00:05:01que la entrenan y decir: "déjame usar IA para hacerlos
00:05:04un 20 % más eficientes", lo cual ya está haciendo.
00:05:06En cierto modo, toda la tecnología mejora.
00:05:12Como un martillo puede darte una herramienta
00:05:14que puedes usar para martillear cosas
00:05:15que fabriquen martillos más eficientes.
00:05:17Pero la IA, en un ciclo mucho más cerrado, es la base de todo.
00:05:22Y esto se llama en la literatura de la IA
00:05:24automejora recursiva.
00:05:26Bostrom ya escribió sobre esto hace mucho tiempo.
00:05:29Y lo que más preocupa a la gente en la IA
00:05:31es que tomes el mismo sistema que Alibaba,
00:05:33como acabas de ver en el ejemplo,
00:05:36pero que ahora ejecutes la IA
00:05:37a través de un ciclo de automejora recursiva
00:05:39donde simplemente le das a "iniciar".
00:05:41Y en lugar de tener a los ingenieros,
00:05:44los humanos de OpenAI o Anthropic investigando
00:05:47y descifrando cómo mejorar la IA,
00:05:49ahora tienes un millón de investigadores digitales
00:05:53que están probando, haciendo experimentos
00:05:56e inventando nuevas formas de IA.
00:05:58Y, literalmente, ni un solo humano en la Tierra
00:06:01sabe qué pasa cuando alguien pulsa ese botón.
00:06:06Es como lo que la gente temía
00:06:08con la primera explosión nuclear,
00:06:11donde existía la posibilidad de que incendiara
00:06:12la atmósfera por una reacción en cadena
00:06:14que se desencadenara.
00:06:15Y no sabemos qué sucede
00:06:16cuando esa reacción en cadena comienza.
00:06:18Y hay esta especie de reacción en cadena
00:06:23de la IA mejorándose a sí misma que lleva a un lugar
00:06:27que nadie conoce y que no es seguro.
00:06:30Creo que lo fundamental es que
00:06:33si la gente cree que la IA es como el poder,
00:06:35y que debo competir por ese poder
00:06:37y que puedo controlarlo,
00:06:39el incentivo es correr lo más rápido posible.
00:06:41Pero si todo el mundo entendiera la IA
00:06:44por lo que realmente es,
00:06:46una tecnología inescrutable, peligrosa e incontrolable
00:06:49que tiene su propia agenda y sus propias formas
00:06:51de pensar, engañar y todo eso,
00:06:55entonces todos en el mundo estarían compitiendo
00:06:57de una forma más cautelosa y cuidadosa.
00:06:58Estaríamos compitiendo para prevenir el peligro.
00:07:00Pero sucede algo muy raro,
00:07:03porque tú y yo probablemente hablamos con gente
00:07:05que está en la cima de la industria tecnológica
00:07:07y hay algo subconsciente ocurriendo,
00:07:09una especie de deseo de muerte entre la gente
00:07:12que lidera la industria tecnológica,
00:07:13y no es que quieran morir,
00:07:15sino que están dispuestos a jugársela
00:07:17porque creen en otra cosa,
00:07:19creen que todo esto es inevitable y no se puede parar.
00:07:22Y por tanto, si no lo hago yo, lo hará otro.
00:07:24Así que seguiré adelante y correré
00:07:27hacia este mundo peligroso
00:07:29porque de algún modo eso llevará a un mundo más seguro,
00:07:30ya que yo soy mejor persona que el otro.
00:07:32Pero al correr lo más rápido posible,
00:07:34se crea el resultado más peligroso
00:07:36y todos perdemos el control.
00:07:38Así que todos están siendo cómplices
00:07:40en llevarnos al desenlace más peligroso.
00:07:42- Pero, planteaste qué pasaría si sale bien,
00:07:51si la seguridad de la IA no es un problema
00:07:54y si las cosas no se complican.
00:07:56- Bueno, la creencia para que salga bien es que
00:07:59tengas una IA que se automejora recursivamente,
00:08:02que esté alineada con la humanidad, que se preocupe por los humanos,
00:08:04que se preocupe por todas las cosas que queremos que le importen,
00:08:08que proteja a los humanos, ya sabes,
00:08:10que nos ayude a todos a ser la versión más sabia de nosotros mismos,
00:08:13que cree un mundo más próspero,
00:08:15que distribuya las medicinas, las vacunas
00:08:16y la salud a todo el mundo, que genere fábricas,
00:08:19pero que no cubra el mundo de paneles solares y centros de datos
00:08:21de tal manera que ya no tengamos aire
00:08:23o toxicidad ambiental o tierras de cultivo o lo que sea.
00:08:25Y que realmente cree esta utopía.
00:08:29Pero en un mundo donde hiciéramos eso,
00:08:30como en ese "mejor escenario posible",
00:08:33para lograr que eso suceda,
00:08:35tendrías que hacerlo de forma lenta y cuidadosa
00:08:37porque la alineación no ocurre por defecto.
00:08:39De nuevo, la gente ya ha estado pensando en la alineación
00:08:43y la seguridad durante 20 años, mucho antes de que yo entrara en esto.
00:08:47Y las IA que estamos fabricando actualmente
00:08:50están teniendo todos los comportamientos imprevistos
00:08:52que la gente predijo que tendrían.
00:08:54Y no estamos en camino de corregirlos.
00:08:56Actualmente hay una brecha de 2000 a uno,
00:08:59estimada por Stuart Russell, autor del libro de texto sobre IA.
00:09:01- Ha estado en el programa.
00:09:02- Ha estado en el programa, de acuerdo.
00:09:03Hay una brecha de 2000 a uno entre la cantidad de dinero
00:09:05que se destina a hacer que la IA sea más potente
00:09:07y la cantidad de dinero para hacer que la IA sea controlable,
00:09:10alineada o segura.
00:09:12Creo que la estadística es algo como...
00:09:13- Progreso frente a seguridad.
00:09:14- Progreso frente a seguridad, como potencia frente a seguridad.
00:09:16O sea, quiero hacer que la IA sea superpotente
00:09:18para que haga muchísimas más cosas
00:09:20frente a querer ser capaz de controlar lo que hace la IA.
00:09:21- Y asegurarse de que está haciendo lo que tú querías que hiciera.
00:09:23- Exacto, así que es como, eso es como decir
00:09:25¿qué pasa cuando aceleras tu coche 2000 veces,
00:09:28pero no tienes volante?
00:09:29Es obvio que vas a chocar.
00:09:34No es algo muy complejo de entender.
00:09:36No estamos abogando contra la tecnología o contra la IA,
00:09:39estamos abogando por la dirección, dirección y frenos.
00:09:43Tienes que tener eso.
00:09:44Creo que hay un error en el pensamiento de carrera armamentista
00:09:47de que si superas a alguien en una tecnología,
00:09:49eso significa que estás ganando en el mundo.
00:09:51Bueno, EE. UU. venció a China en la tecnología de las redes sociales.
00:09:55¿Eso nos hizo más fuertes o nos hizo más débiles?
00:09:58Si vences a tu adversario en una tecnología
00:10:00que luego gestionas mal,
00:10:01le das la vuelta a la bazuca y te vuelas los sesos
00:10:04porque te fundiste el cerebro,
00:10:05degradaste a toda tu población,
00:10:06creaste una crisis de soledad,
00:10:08la generación más ansiosa y deprimida de la historia,
00:10:10lee el libro de Jonathan Haidt, "La generación ansiosa" —,
00:10:12rompiste la realidad compartida, ya nadie confía en nadie,
00:10:15todos están a la greña,
00:10:16maximizaste la economía de la indignación y la rivalidad.
00:10:19Venciste a China en una tecnología que gestionaste de una forma
00:10:22que socavó por completo tu salud y fuerza social.
00:10:24- Es una victoria pírrica.
00:10:25- Es una victoria pírrica, exactamente, bien dicho.
00:10:28- Antes de continuar, la mayoría de las personas de 30 años
00:10:30siguen entrenando duro, su consumo de proteínas es el adecuado,
00:10:32duermen mejor que cuando tenían 20 años.
00:10:34La disciplina no es el problema,
00:10:36pero la recuperación se siente algo diferente.
00:10:39Las ganancias de fuerza tardan un poco más,
00:10:41el margen de error empieza a reducirse.
00:10:43Y es por eso que soy un gran fan de Timeline.
00:10:46Verás, las mitocondrias son las productoras de energía
00:10:49dentro de tus células musculares.
00:10:50A medida que se debilitan con la edad, tu capacidad de generar potencia
00:10:53y recuperarte eficazmente cambia,
00:10:55incluso si tus hábitos siguen siendo sólidos.
00:10:57Mitopure de Timeline contiene
00:10:59la única forma clínicamente validada de urolitina A
00:11:02utilizada en ensayos con humanos.
00:11:03Promueve la mitofagia, que es el proceso natural del cuerpo
00:11:06para eliminar las mitocondrias dañadas
00:11:08y renovar las sanas.
00:11:09En estudios, esto apoyó la función mitocondrial
00:11:12y la fuerza muscular en adultos mayores.
00:11:14No se trata de esforzarse más,
00:11:15se trata de apoyar realmente la maquinaria celular
00:11:18que sustenta tu entrenamiento.
00:11:19Si te importa mantenerte fuerte
00:11:21a los 30, 40, 50 años y más allá, esto es fundamental.
00:11:25Lo mejor de todo es que hay una garantía de devolución de 30 días,
00:11:27además de envío gratis en EE. UU. y envíos internacionales.
00:11:30Y ahora mismo, puedes obtener hasta un 20% de descuento
00:11:32yendo al enlace en la descripción de abajo
00:11:34o entrando en [timeline.com/modernwisdom](https://www.google.com/search?q=https://timeline.com/modernwisdom)
00:11:36y usando el código modernwisdom al pagar.
00:11:38Eso es [timeline.com/modernwisdom](https://www.google.com/search?q=https://timeline.com/modernwisdom)
00:11:40y modernwisdom al pagar.