J'ai testé l'outil qui veut tuer Apache Airflow (Kestra)

BBetter Stack
컴퓨터/소프트웨어창업/스타트업AI/미래기술

스크립트

00:00:00Voici Kestra, une startup qui a récemment levé 25 millions de dollars avec une seule promesse :
00:00:06tuer Apache Airflow. Et leur astuce est presque insultante tant elle semble simple.
00:00:12Vous arrêtez d'écrire vos pipelines de données en Python pour les écrire en YAML.
00:00:17Restez avec moi, car c'est plus important qu'il n'y paraît.
00:00:21Laissez-moi vous montrer comment tout cela fonctionne dans les prochaines minutes.
00:00:29Imaginez maintenant une chaîne de tâches devant s'exécuter dans l'ordre. Récupérer des données, les nettoyer,
00:00:35les charger dans une base de données, puis appeler une API pour lancer l'étape suivante. Vous pourriez orchestrer cela avec
00:00:41Cron. Mais dès qu'une étape échoue, c'est la panique. Pas de nouvelle tentative, pas de journal, aucune idée de ce qui a cassé.
00:00:48C'est exactement ce genre de problème que les outils d'orchestration sont censés résoudre. Et Airflow a honnêtement
00:00:54été le roi dans ce domaine pendant des années. Le problème avec Airflow, c'est que chaque pipeline est un
00:00:58programme Python que vous devez écrire, maintenir et déboguer. Tout le système est lourd, et simplement
00:01:04le faire fonctionner sur votre propre machine n'est pas vraiment une partie de plaisir. Si vous aimez les outils de code
00:01:09pour accélérer votre flux de travail, assurez-vous de vous abonner. Nous publions des vidéos en permanence.
00:01:14Maintenant, le principe de Kestra est qu'un flux de travail ne devrait pas être un programme du tout. Ce devrait être
00:01:19juste une configuration. Laissez-moi vous montrer ce que cela signifie vraiment. Je suis dans l'éditeur de navigateur,
00:01:24et je vais écrire un petit flux en YAML. Quelques étapes. L'une exécute un script Python. L'autre exécute une commande
00:01:32shell. Je peux cliquer sur exécuter et regarder l'écran. Le diagramme s'illumine étape par étape en direct
00:01:41au fur et à mesure que chaque tâche s'exécute. Je peux passer à une vue chronologique pour voir combien de temps chaque pièce a pris et cliquer directement sur
00:01:47le journal de n'importe quelle étape. Ce pipeline entier vient de s'exécuter sans que j'aie jamais écrit une seule ligne
00:01:53de code d'orchestration. Voici comment tout cela fonctionne. Chaque flux de travail est ce qu'ils appellent
00:02:00un “flow”, et ce n'est vraiment que du YAML. Une liste de tâches et un déclencheur qui les lance. Les tâches sont agnostiques
00:02:08quant au langage, et c'est un atout majeur. Un flux peut exécuter du Python, du Node, puis du Bash, puis une requête SQL,
00:02:15et enfin lancer un conteneur, tout cela dans une seule séquence. Airflow veut vraiment que vous utilisiez Python. N8N veut
00:02:22vraiment que vous utilisiez JavaScript. Kestra ne se soucie absolument pas du langage de chaque étape, et les déclencheurs sont
00:02:27intégrés nativement. Lancez-le selon un calendrier comme Cron, déclenchez-le avec un webhook,
00:02:34ou lorsqu'un fichier arrive dans un compartiment, ou via l'API. Une dernière chose que j'apprécie : le code et le constructeur visuel
00:02:39restent synchronisés. Modifier l'un met donc automatiquement à jour l'autre. Pourquoi devriez-vous vous en soucier
00:02:46par rapport aux outils déjà utilisés, comme Airflow ? Avec Kestra, votre pipeline
00:02:53devient une configuration propre que quelqu'un ne maîtrisant pas Python pourrait lire et approuver lors des demandes de tirage (pull requests).
00:02:59Et les examinateurs disent que le moteur gère mieux le travail en parallèle que le planificateur d'Airflow.
00:03:05C'est bien, mais contrairement à Zapier et Make, il n'y a pas de SaaS et aucune facturation à la tâche.
00:03:12C'est conçu pour les développeurs et l'infrastructure réelle, et vous l'hébergez vous-même. Et par rapport à Cron,
00:03:19vous bénéficiez de nouvelles tentatives, de délais d'attente, d'une carte de dépendance réelle et d'une interface utilisateur prête à l'emploi. Maintenant,
00:03:26Kestra indique avoir exécuté 2 milliards de flux de travail en 2025. C'est 20 fois plus que l'année précédente. Et ils ont des
00:03:32clients comme Apple, JP Morgan, Toyota et Bloomberg. Ces chiffres de croissance viennent directement
00:03:38de l'entreprise, pas d'un audit externe. Prenez donc cela avec des pincettes. Mais de plus en plus
00:03:43de gens parient sur le fait que cette approche de configuration déclarative pour l'orchestration est l'avenir du domaine.
00:03:49Quelques bémols toutefois. D'abord, c'est une application Java. Et la JVM est gourmande. Il vous faut environ
00:03:584 Go de RAM et quelques cœurs juste pour faire tourner le serveur sereinement. Deuxièmement, le YAML est idéal pour
00:04:06les pipelines linéaires simples. Mais dès que vous avez besoin d'une logique de branchement dynamique complexe, cela devient
00:04:11compliqué. Honnêtement, les outils basés sur Python gèrent cela bien mieux. Enfin, Kestra est en “open core”.
00:04:18Le moteur lui-même est vraiment open source, mais l'authentification unique (SSO), le contrôle d'accès basé sur les rôles et les journaux d'audit,
00:04:24sont derrière un péage. La version gratuite ne vous offre qu'une seule connexion partagée. C'est tout.
00:04:31C'est parfait si vous travaillez seul. Mais c'est un problème dès que vous avez besoin d'un vrai système multi-utilisateurs
00:04:36sans vouloir payer. Alors devriez-vous l'utiliser ? Ce dernier point pourrait être déterminant.
00:04:42Si vous voulez que votre orchestration soit une configuration lisible plutôt que du Python, c'est honnêtement
00:04:47un outil sympa. Et il tourne nativement sur Apple Silicon. Le lancer sur Mac se fait en une seule
00:04:53commande “docker run” et le tableau de bord apparaît sur localhost. Essayez-le.
00:04:59Ou si vous l'avez déjà essayé, partagez vos réflexions ci-dessous. Si vous aimez les astuces de codage comme celle-ci, abonnez-vous.
00:05:03Nous publions des vidéos en permanence.

핵심 요약

Kestra transforme l'orchestration des données en une configuration déclarative YAML lisible et agnostique quant au langage, simplifiant la maintenance par rapport à l'approche basée sur le code Python d'Apache Airflow.

하이라이트

  • Kestra remplace le code Python complexe utilisé dans Apache Airflow par une configuration YAML.

  • L'outil a exécuté 2 milliards de flux de travail en 2025, soit une croissance de 20 fois par rapport à l'année précédente.

  • Le moteur de Kestra supporte l'exécution polyglotte de scripts Python, Node, Bash et SQL au sein d'une même séquence.

  • L'infrastructure nécessite au moins 4 Go de RAM et plusieurs cœurs CPU pour faire fonctionner le serveur Java (JVM).

  • La version gratuite limite l'accès à une seule connexion, restreignant l'usage en équipe sans passer par une licence payante pour les fonctionnalités SSO et RBAC.

타임라인

Limites de l'orchestration par code

  • L'orchestration traditionnelle via Airflow impose l'écriture et le débogage de pipelines en Python.
  • La gestion d'erreurs et le suivi des journaux d'exécution restent complexes dans les configurations basées sur Cron.

Le maintien de programmes Python pour orchestrer des chaînes de tâches est une source de lourdeur opérationnelle. Contrairement aux solutions simples comme Cron, les outils dédiés doivent offrir une visibilité en cas d'échec, ce qui constitue le principal argument contre le maintien de pipelines complexes en Python.

Approche déclarative par YAML

  • Les flux de travail Kestra reposent sur une configuration YAML plutôt que sur un programme exécutable.
  • Le système permet l'exécution séquentielle de différents langages comme Python, Node, Bash et SQL dans un seul pipeline.
  • L'interface utilisateur et le code YAML restent synchronisés en temps réel lors des modifications.

La structure Kestra utilise des tâches agnostiques au langage et des déclencheurs natifs (API, Webhook, fichiers) pour automatiser les séquences. Cette méthode permet de visualiser le déroulement d'un pipeline via une interface graphique interactive qui se met à jour en fonction du fichier de configuration YAML.

Avantages opérationnels et adoption

  • La lisibilité du YAML facilite la revue de code par des profils non-développeurs lors des pull requests.
  • Le moteur de planification gère plus efficacement le parallélisme que le système d'Airflow.
  • L'adoption par des entreprises comme Apple, Toyota et Bloomberg témoigne d'une montée en puissance de cette architecture.

Kestra se positionne comme une solution d'infrastructure hébergée localement, évitant les coûts à la tâche associés aux outils SaaS comme Zapier ou Make. La croissance observée en 2025 place cette approche déclarative parmi les alternatives sérieuses pour l'orchestration de données à grande échelle.

Contraintes techniques et modèles économiques

  • Le serveur Kestra est gourmand en ressources, exigeant 4 Go de RAM en raison de son architecture Java.
  • La logique de branchement dynamique complexe reste plus adaptée aux outils basés sur Python.
  • Le modèle “open core” réserve les fonctionnalités multi-utilisateurs et de sécurité (SSO/RBAC) à la version payante.

Bien que le moteur de base soit open source, les limitations de la version gratuite pour le travail en équipe et la consommation de la JVM sont des facteurs critiques à considérer. Malgré ces contraintes, l'outil offre une installation simple via Docker pour tester l'approche déclarative sur des environnements locaux.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기