Eu testei a ferramenta que tenta acabar com o Apache Airflow (Kestra)

Portuguêsالعربية Deutsch English Español Français हिन्दी Bahasa Indonesia 日本語 한국어 Русский 中文

컴퓨터/소프트웨어창업/스타트업AI/미래기술

스크립트

00:00:00Esta é a Kestra, uma startup que recentemente arrecadou 25 milhões de dólares com uma única promessa:

00:00:06acabar com o Apache Airflow. E o truque deles é quase ofensivo de tão simples.

00:00:12Você para de escrever seus pipelines de dados em Python e começa a escrevê-los em YAML.

00:00:17Fique comigo, porque isso é muito mais importante do que parece.

00:00:21Deixe-me mostrar como tudo isso funciona nos próximos minutos.

00:00:29Agora, imagine uma cadeia de trabalhos que precisam ser executados em ordem. Puxar alguns dados, limpá-los,

00:00:35carregá-los em um banco de dados e, então, chamar uma API para iniciar a próxima etapa. Você poderia configurar isso com

00:00:41Cron. Mas no momento em que um passo falha, já era. Sem nova tentativa, sem log, sem ideia do que realmente quebrou.

00:00:48Essa é exatamente a bagunça que as ferramentas de orquestração foram criadas para resolver. E o Airflow, honestamente,

00:00:54tem sido o rei delas por anos. O problema do Airflow é que cada pipeline é um

00:00:58programa Python que você precisa escrever, manter e depurar. O sistema todo é pesado e apenas fazê-lo

00:01:04rodar na sua própria máquina não é algo que a maioria de nós realmente aproveitaria. Se você gosta de ferramentas de código

00:01:09para acelerar seu fluxo de trabalho, não deixe de se inscrever. Temos vídeos saindo o tempo todo.

00:01:14Agora, a proposta da Kestra é que o fluxo de trabalho não deveria ser um programa de forma alguma. Deveria ser apenas

00:01:19uma configuração. Deixe-me mostrar o que isso realmente significa. Estou no editor do navegador aqui,

00:01:24e vou escrever um pequeno fluxo em YAML. Algumas etapas. Uma executa um script Python. Uma executa um comando

00:01:32shell. Posso clicar em executar e assistir à tela. O diagrama ilumina cada passo em tempo real

00:01:41à medida que cada etapa é executada. Posso pular para uma visualização de linha do tempo para ver quanto tempo cada peça levou e clicar diretamente no

00:01:47log de qualquer etapa que eu quiser. Esse pipeline inteiro rodou, e eu nunca escrevi uma única linha de

00:01:53código de orquestração. Então, eis como isso realmente funciona. Cada fluxo de trabalho é o que chamam de

00:02:00fluxo, e na verdade é apenas YAML. Uma lista de tarefas e um gatilho que as inicia. As tarefas são agnósticas

00:02:08em relação à linguagem, e isso é importante aqui. Um fluxo pode executar Python, Node, Bash, uma consulta SQL,

00:02:15e depois iniciar um contêiner, tudo em uma sequência. O Airflow realmente quer que você use Python. O n8n realmente quer

00:02:22que você use JavaScript. A Kestra, na verdade, nem se importa em que cada etapa foi escrita, e os gatilhos são

00:02:27integrados em tudo. Execute-o em um cronograma como o Cron, dispare-o quando um webhook for ativado,

00:02:34ou quando um arquivo cair em um bucket, ou chame-o pela API. Mais uma coisa que gosto: o código e o

00:02:39construtor visual permanecem sincronizados. Então, editar um atualiza automaticamente o outro. Agora, por que você

00:02:46deveria se importar em comparação com as ferramentas que já usamos, como o Airflow, certo? Comparado ao Airflow, seu pipeline

00:02:53se transforma em uma configuração limpa que alguém que não sabe Python poderia ler e aprovar em pull

00:02:59requests. E os avaliadores dizem que o motor processa trabalhos paralelos melhor do que o

00:03:05agendador do Airflow. Agora, isso é ótimo, mas comparado ao Zapier e Make, não há SaaS nem cobrança por

00:03:12tarefa. É feito para desenvolvedores e infraestrutura real, e você hospeda por conta própria. E contra o bom e velho Cron,

00:03:19você obtém novas tentativas, tempos limite, um mapa de dependência real e uma interface de usuário pronta para uso. Agora,

00:03:26a Kestra diz que executou 2 bilhões de fluxos de trabalho em 2025. Isso é 20 vezes mais que no ano anterior. E tem nomes

00:03:32de clientes como Apple, JP Morgan, Toyota e Bloomberg. Agora, esses números de crescimento vêm direto

00:03:38da empresa, não de uma auditoria externa. Então, trate tudo com cautela. Mas cada vez mais

00:03:43pessoas estão apostando que esse caminho de configuração declarativa para orquestração é para onde o campo

00:03:49está indo. Ok, algumas ressalvas aqui. Primeiro, este é um aplicativo Java. E a JVM é faminta. Você quer

00:03:58cerca de 4 GB de RAM e alguns núcleos apenas para rodar o servidor em paz. Segundo, YAML é um sonho para

00:04:06pipelines lineares limpos. Mas no segundo em que você precisa de lógica de ramificação dinâmica pesada, começa a

00:04:11nos dar trabalho. E, honestamente, ferramentas baseadas em Python lidam muito melhor com isso. E, por fim, a Kestra é open core. Então

00:04:18o mecanismo em si é verdadeiramente de código aberto, mas logon único, controle de acesso baseado em funções e logs de auditoria,

00:04:24esses ficam atrás de algum tipo de barreira de pagamento. Então, a versão gratuita oferece um login compartilhado. É isso. É

00:04:31perfeitamente aceitável se você estiver fazendo isso sozinho. Mas é um problema no dia em que você precisar de um sistema de controle

00:04:36multi-usuário real sem querer pagar. Então, você deveria usá-lo? Bem, essa última parte pode ser o ditador de tudo

00:04:42isso. Se você quer que sua orquestração seja uma configuração legível em vez de Python, isso é, honestamente,

00:04:47legal. Essa é uma ferramenta legal. E roda nativamente no Apple Silicon. Instalá-lo em Macs é um único

00:04:53comando docker run e o painel aparece no localhost. Experimente. Ou se você já

00:04:59experimentou, deixe seus pensamentos abaixo. Se você gosta de dicas e truques de codificação como este, não deixe de se inscrever.

00:05:03Temos vídeos saindo o tempo todo.

핵심 요약

A Kestra substitui a complexidade do código Python do Apache Airflow por pipelines declarativos em YAML, oferecendo uma interface visual integrada e suporte nativo a diversas linguagens.

하이라이트

A Kestra utiliza arquivos de configuração YAML em vez de código Python para definir pipelines de dados.
O motor de orquestração da Kestra processou 2 bilhões de fluxos de trabalho em 2025, um aumento de 20 vezes em relação ao ano anterior.
A ferramenta é agnóstica em relação à linguagem, permitindo a execução de sequências que envolvem Python, Node, Bash e SQL.
O sistema requer cerca de 4 GB de RAM e múltiplos núcleos de processamento por ser uma aplicação baseada em Java.
Recursos empresariais como logon único (SSO) e controle de acesso baseado em funções exigem pagamento, embora o motor central seja de código aberto.

타임라인

A proposta da Kestra frente ao Airflow

O Apache Airflow exige a escrita, manutenção e depuração de programas complexos em Python para cada pipeline.
Soluções baseadas em Cron falham ao não oferecer logs, tentativas automáticas ou visibilidade em caso de erro.

A orquestração de dados tradicional enfrenta dificuldades quando os fluxos de trabalho dependem inteiramente de código Python pesado. O uso do Cron simples é insuficiente para ambientes de produção devido à falta de resiliência e monitoramento.

Funcionamento e configuração declarativa

Os fluxos de trabalho na Kestra são definidos exclusivamente por arquivos YAML, eliminando a necessidade de código de orquestração dedicado.
O sistema sincroniza automaticamente o editor de texto com um construtor visual para monitorar a execução em tempo real.

O editor permite criar fluxos que executam scripts, comandos shell e consultas SQL de forma sequencial. A interface visual ilumina cada etapa conforme é processada, permitindo acesso imediato aos logs e à linha do tempo de execução.

Vantagens competitivas e métricas de mercado

Pipelines em YAML permitem que usuários sem conhecimento em Python realizem revisões de pull requests.
A Kestra elimina modelos de cobrança baseados em tarefas, comuns em ferramentas SaaS como Zapier ou Make.

Empresas como Apple, JP Morgan e Toyota adotaram a solução para orquestrar fluxos de trabalho. O motor de agendamento supera o do Airflow em trabalhos paralelos, oferecendo uma infraestrutura completa para desenvolvedores que realizam hospedagem própria.

Limitações técnicas e modelo de licenciamento

A natureza Java da ferramenta exige ao menos 4 GB de RAM para uma execução estável.
A lógica de ramificação dinâmica é tratada de forma mais eficiente por ferramentas puramente baseadas em Python.
Recursos de governança como controle de acesso multiusuário são restritos a versões pagas.

Embora a Kestra ofereça um motor open-source, funcionalidades avançadas de segurança e gestão de usuários ficam atrás de barreiras de pagamento. A ferramenta é ideal para quem prefere configurações declarativas e legíveis, com instalação simplificada via Docker.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기