¿SQLite es 138 veces más lento que esto? (Probando Stoolap)

El video comienza cuestionando la hegemonía de SQLite como la opción predeterminada para proyectos nuevos debido a sus limitaciones en el manejo de datos pesados. El narrador explica que el motor de bloqueo de archivos de un solo hilo de SQLite se convierte en un cuello de botella cuando las consultas aumentan en complejidad. Se presenta formalmente a Stoolap como un nuevo competidor escrito íntegramente en Rust que promete solucionar estos problemas de rendimiento. Se menciona que este motor ha lanzado recientemente un controlador nativo para Node.js con resultados preliminares muy sólidos. El objetivo de la introducción es preparar el escenario para una comparativa técnica profunda entre ambos sistemas.

En esta sección se define a Stoolap como una base de datos de procesamiento analítico en línea (OLAP) integrada, contrastándola con el enfoque transaccional (OLTP) de SQLite o Postgres. El uso de Rust permite que el motor se enfoque en el procesamiento de datos a alta velocidad con una portabilidad similar a la de un archivo local. Un punto técnico crucial es la implementación de NAPI-RS, que permite cargar el binario de Rust directamente en el proceso de Node.js. Esto evita el uso de puentes de red o la lenta serialización de datos a formato JSON, permitiendo que ambos lenguajes compartan el mismo espacio de memoria. Esta integración nativa es lo que diferencia a Stoolap de otros envoltorios estándar de bases de datos.

El orador detalla las tres razones tecnológicas principales que hacen a Stoolap increíblemente rápido frente a sus competidores. Primero, destaca el control de concurrencia multiversión (MVCC), que permite operaciones simultáneas de lectura y escritura sin bloqueos totales de la base de datos. Segundo, menciona la ejecución paralela mediante el planificador Rayon, el cual distribuye las consultas masivas entre todos los núcleos disponibles de la CPU. Finalmente, explica el funcionamiento de su optimizador basado en costos, que analiza las rutas más eficientes antes de ejecutar el SQL. Estos tres elementos forman el núcleo de la ventaja competitiva analítica que el software pretende demostrar.

Se describe el entorno de pruebas utilizando un proyecto de Node.js donde se comparan versiones en memoria de Stoolap y SQLite. El autor utiliza un script para generar 10,000 filas de ventas aleatorias con el fin de medir la velocidad de la operación 'count distinct'. Durante este proceso, se revela una frustración importante: el paquete de NPM actual no funciona correctamente debido a la falta de bindings nativos. Para solucionar esto, el presentador tuvo que clonar el repositorio y construir el binario manualmente desde la fuente para poder realizar la prueba. Este inconveniente técnico subraya que el proyecto, aunque potente, aún se encuentra en una etapa de madurez temprana para su distribución masiva.

Los resultados finales muestran que Stoolap es efectivamente más rápido que SQLite, logrando una ventaja de 4 a 6 veces en pruebas de gran volumen de datos. Sin embargo, el video aclara que la cifra de "138 veces más rápido" mencionada originalmente parece estar inflada en comparación con los casos de uso comunes. En operaciones de 'distinct + order by', la mejora se reduce a un rango de entre 1 y 1.5 veces la velocidad de SQLite. El narrador concluye que Stoolap no es un "asesino de SQLite" sino una herramienta especializada para análisis complejos que complementa el ecosistema de Node.js. Al final, se invita a la audiencia a valorar si el aumento de rendimiento justifica la complejidad adicional de implementación actual.