SQLite est 138x plus lent que ça ?! (Test de Stoolap)

L'auteur introduit SQLite comme le standard industriel incontournable pour lancer de nouveaux projets grâce à sa fiabilité et sa simplicité sans configuration. Cependant, il souligne que les limites techniques apparaissent rapidement lorsque les données s'alourdissent et que les requêtes deviennent complexes. Le moteur monothread et le système de verrouillage de fichiers de SQLite freinent alors les performances globales de l'application. C'est dans ce contexte qu'intervient Stoolap, un nouvel acteur écrit en Rust promettant des gains de vitesse allant jusqu'à 138 fois. Cette section pose le décor d'une confrontation entre la tradition et une nouvelle technologie de pointe.

Cette séquence explique la différence fondamentale entre Stoolap, une base de données OLAP (analytique), et SQLite ou Postgres, qui sont des bases OLTP (transactionnelles). Stoolap est comparé à DuckDB ou BigQuery pour sa puissance brute tout en conservant la portabilité d'un simple fichier local. L'innovation majeure réside dans son driver natif Node.js utilisant NAPI-RS, qui élimine le besoin de convertir les données en JSON ou de passer par un socket réseau. En partageant le même espace mémoire que le processus Node.js, le moteur évite le surcoût de sérialisation qui paralyse habituellement les performances. Cette intégration profonde permet une communication quasi instantanée entre le langage de haut niveau et le moteur système.

L'analyste détaille les trois raisons techniques rendant Stoolap particulièrement performant par rapport à ses concurrents. Premièrement, le MVCC permet à plusieurs lecteurs et scripteurs de travailler simultanément sans se bloquer mutuellement. Deuxièmement, l'utilisation de l'ordonnanceur Rayon permet de fragmenter une seule requête massive sur tous les cœurs CPU disponibles de la machine. Enfin, un optimisateur intelligent analyse les données pour choisir le chemin d'exécution le moins coûteux au lieu d'exécuter le SQL de manière aveugle. Ces mécanismes transforment radicalement la gestion des charges de travail analytiques lourdes. L'objectif est de démontrer que la performance n'est pas fortuite mais le résultat d'une ingénierie logicielle rigoureuse.

L'auteur passe à la pratique en configurant un test de benchmark comparatif sur une table de ventes remplie de données aléatoires. Il mentionne une frustration technique importante : le package NPM actuel est défectueux et nécessite une compilation manuelle depuis les sources pour fonctionner. Une fois cet obstacle franchi, le test sur l'opération "count distinct" montre que Stoolap est effectivement plus rapide que SQLite. Cependant, les résultats réels affichent un facteur de 4 à 6 fois supérieur sur un million de lignes, contredisant le chiffre marketing de 138 fois. Ce test souligne l'importance de vérifier les affirmations de performance par des tests en conditions réelles.

Un second benchmark portant sur des opérations de tri et de filtrage de logs confirme que Stoolap maintient son avance, bien que de manière moins spectaculaire avec un gain de 1 à 1,5 fois. L'auteur conclut que Stoolap ne tuera pas SQLite car les deux outils répondent à des besoins diamétralement opposés. SQLite reste imbattable pour les petites transactions unitaires fiables, alors que Stoolap est une véritable "voiture de course" pour l'analyse de données complexes. Il encourage les développeurs à surveiller ce projet tout en espérant une correction rapide du système de distribution des binaires. La vidéo se termine sur un appel à l'interaction pour savoir si les gains de performance justifient la complexité actuelle d'installation.