¿Adiós a OpenAI y Anthropic?

하이라이트

• El nuevo modelo 'sub-q' propone una arquitectura de atención selectiva subcuadrática (SSA) diseñada para gestionar ventanas de contexto de hasta 12 millones de tokens.

• El costo de inferencia de este modelo es el 5% del costo actual de Opus 4.7.

• A diferencia de la atención densa, que requiere evaluar cada conexión entre todos los tokens (complejidad cuadrática), el enfoque SSA selecciona únicamente los tokens relevantes mediante un enrutamiento dependiente del contenido.

• Los resultados en pruebas de rendimiento como 'ruler' y 'MRCRv2' sitúan al modelo en un nivel comparable a Opus 4.6, aunque con una capacidad teórica de manejo de contexto significativamente mayor.

• La implementación exitosa de este modelo eliminaría la necesidad de soluciones actuales como RAG o subagentes al permitir el procesamiento directo de bases de código completas.

타임라인

1. 00:00 - 03:30

   Anuncio de sub-q y sus promesas técnicas

   Alexander Wedin presentó sub-q, un modelo de lenguaje que utiliza una arquitectura subcuadrática. Su capacidad principal radica en procesar grandes volúmenes de datos sin sacrificar la calidad de las respuestas. Si estas promesas se cumplen, dejarían obsoletas las estrategias de fragmentación como RAG.

   • El modelo sub-q promete inteligencia comparable a los modelos frontera actuales con una eficiencia superior.
   • La ventana de contexto de 12 millones de tokens permite el análisis completo de bases de código masivas.
   • El costo de operación se reduce al 5% en comparación con el modelo Opus.
2. 03:31 - 07:36

   Análisis de pruebas de rendimiento

   Los datos disponibles son limitados y se centran en pruebas de recuperación de contexto largo y programación. Aunque el modelo compite con los estándares actuales, la ausencia de una ficha técnica detallada genera cautela sobre la consistencia de los resultados prometidos.

   • Las pruebas 'ruler' y 'MRCRv2' muestran un desempeño del modelo en el rango de Opus 4.6.
   • Los resultados iniciales sugieren capacidad para generar código útil y significativo tras recuperar información.
   • Existe una escasez de detalles técnicos profundos y de fichas técnicas completas sobre el modelo.
3. 07:37 - 18:41

   Diferencias entre atención densa y dispersa

   La atención densa evalúa cada par de tokens, lo que resulta en un consumo masivo de recursos computacionales e imposibilita ventanas de contexto de millones de tokens. El enfoque SSA evita la aproximación simple y utiliza un mecanismo de enrutamiento para enfocarse únicamente en la información que contiene señal real.

   • Los modelos densos actuales presentan una complejidad cuadrática de n por n, lo que limita drásticamente la escalabilidad del contexto.
   • La atención dispersa busca seleccionar solo los tokens relevantes para la predicción, reduciendo el costo computacional.
   • El modelo sub-q implementa una selección dependiente del contenido que omite posiciones irrelevantes en la secuencia.
4. 18:42 - 21:07

   Implicaciones y cautela ante el hype

   La industria ha visto modelos con resultados de rendimiento exagerados anteriormente, lo que justifica una actitud cautelosa. Sin embargo, si la tecnología logra escalar eficientemente a 12 millones de tokens, su impacto en la productividad de desarrollo y gestión de documentos sería masivo.

   • El sector de la inteligencia artificial atraviesa un periodo de alta volatilidad con muchas promesas que no llegan a materializarse.
   • Un modelo más eficiente mitigaría la escasez global de infraestructura, chips y centros de datos.
   • La adopción exitosa de sub-q cambiaría el paradigma de trabajo con IA al eliminar la necesidad de parches técnicos como los subagentes.