Saya Mencoba Tool yang Mengancam Apache Airflow (Kestra)

Bahasa IndonesiaالعربيةDeutschEnglishEspañolFrançaisहिन्दी日本語한국어PortuguêsРусский中文
BBetter Stack
컴퓨터/소프트웨어창업/스타트업AI/미래기술

스크립트

00:00:00Ini adalah Kestra, startup yang baru saja mengumpulkan $25 juta dengan satu janji,
00:00:06membunuh Apache Airflow. Dan trik mereka sangat sederhana sampai terkesan meremehkan.
00:00:12Anda berhenti menulis pipeline data dengan Python, dan mulai menulisnya dengan YAML.
00:00:17Tetaplah di sini karena satu hal itu lebih besar dari yang terlihat.
00:00:21Biar saya tunjukkan bagaimana semua ini bekerja dalam beberapa menit ke depan.
00:00:29Sekarang bayangkan serangkaian pekerjaan yang harus dijalankan secara berurutan. Ambil data, bersihkan,
00:00:35muat ke database, lalu akses API untuk menjalankan proses berikutnya. Anda bisa mengaturnya dengan
00:00:41Cron. Tapi begitu satu langkah gagal, semuanya berantakan. Tidak ada pengulangan, tidak ada log, tidak tahu apa yang rusak.
00:00:48Itulah kekacauan yang sebenarnya diperbaiki oleh alat orkestrasi. Dan Airflow sejujurnya telah
00:00:54menjadi rajanya selama bertahun-tahun. Masalah dengan Airflow adalah setiap pipeline adalah
00:00:58program Python yang harus Anda tulis, pelihara, dan debug. Seluruh sistemnya berat dan menjalankannya
00:01:04di mesin sendiri, kebanyakan dari kita tidak akan benar-benar menikmatinya. Jika Anda menikmati alat coding
00:01:09untuk mempercepat alur kerja, pastikan untuk berlangganan. Kami selalu mengunggah video baru.
00:01:14Sekarang, inti dari Kestra adalah alur kerja seharusnya bukan berupa program sama sekali. Seharusnya hanya
00:01:19sebuah konfigurasi. Biar saya tunjukkan apa maksudnya. Saya di editor browser di sini,
00:01:24dan saya akan menulis alur kecil dalam YAML. Beberapa langkah. Satu menjalankan skrip Python. Satu menjalankan perintah shell.
00:01:32Saya bisa menekan execute dan melihat layarnya. Diagram menyala dengan satu kotak sekaligus secara langsung
00:01:41saat setiap langkah berjalan. Saya bisa melompat ke tampilan timeline untuk melihat durasi setiap bagian dan langsung klik ke
00:01:47log untuk langkah apa pun yang saya mau. Seluruh pipeline itu baru saja berjalan, dan saya tidak pernah menulis satu baris pun
00:01:53kode orkestrasi. Jadi beginilah cara kerja benda ini. Setiap alur kerja adalah apa yang mereka sebut
00:02:00sebagai flow, dan sebenarnya itu hanya YAML. Daftar tugas dan pemicu yang memulainya. Tugas-tugasnya bersifat
00:02:08agnotis bahasa, dan itu hal besar di sini. Satu flow bisa menjalankan Python, node, lalu bash, lalu kueri SQL,
00:02:15dan kemudian menyalakan container semuanya dalam satu baris. Airflow sangat menginginkan Anda menggunakan Python. N8N sangat menginginkan
00:02:22Anda menggunakan JavaScript. Kestra sebenarnya tidak peduli dengan apa bahasa setiap langkahnya, dan pemicunya
00:02:27terintegrasi langsung ke dalam seluruh sistem. Jalankan sesuai jadwal seperti Cron, picu saat webhook aktif,
00:02:34atau saat file masuk ke bucket, atau panggil dari API. Satu hal lagi yang saya suka, kode dan pembangun visual
00:02:39tetap terkunci bersama. Jadi mengedit satu secara otomatis memperbarui yang lainnya. Sekarang, mengapa Anda
00:02:46harus peduli dibandingkan alat yang sudah kita gunakan, alias Airflow, bukan? Nah, dibandingkan Airflow, pipeline Anda
00:02:53berubah menjadi konfigurasi bersih yang bisa dibaca dan disetujui oleh seseorang yang tidak tahu Python di pull request.
00:02:59Dan pengulas mengatakan mesinnya memproses pekerjaan paralel lebih baik daripada penjadwal Airflow.
00:03:05Itu hebat, tapi dibandingkan Zapier dan Make, tidak ada SaaS dan tidak ada tagihan per tugas.
00:03:12Ini dibuat untuk pengembang dan infrastruktur nyata, dan Anda host sendiri. Dan melawan Cron lama,
00:03:19Anda mendapatkan pengulangan, timeout, peta ketergantungan nyata, dan UI asli langsung dari kotaknya. Nah,
00:03:26Kestra mengatakan telah menjalankan 2 miliar alur kerja pada tahun 2025. Itu 20 kali lipat dari tahun sebelumnya. Dan memiliki nama
00:03:32pelanggan seperti Apple, JP Morgan, Toyota, dan Bloomberg. Sekarang, angka pertumbuhan itu datang langsung
00:03:38dari perusahaan, bukan dari audit pihak luar. Jadi ambil dengan sedikit skeptis. Tapi semakin banyak
00:03:43orang yang bertaruh bahwa cara orkestrasi yang mengutamakan konfigurasi deklaratif ini adalah arah bidang ini.
00:03:49Oke, sekarang ada beberapa catatan di sini. Pertama, ini adalah aplikasi Java. Dan JVM, itu lapar. Anda butuh
00:03:58sekitar 4 GB RAM dan beberapa core hanya untuk menjalankan server dengan tenang. Kedua, YAML adalah mimpi untuk
00:04:06pipeline linear yang bersih. Tapi saat Anda butuh logika percabangan dinamis yang berat, Anda tahu, itu mulai menyulitkan
00:04:11kita. Dan sejujurnya, alat berbasis Python menanganinya jauh lebih baik. Dan terakhir, Kestra bersifat open core. Jadi
00:04:18mesinnya sendiri benar-benar open source, tetapi akses kontrol berbasis aturan masuk tunggal dan log audit,
00:04:24itu berada di balik paywall. Jadi versi gratis hanya memberi Anda satu login bersama. Itu saja. Ini
00:04:31sangat baik jika Anda melakukannya sendiri. Tapi masalah muncul saat Anda butuh sistem kontrol multi pengguna yang nyata
00:04:36tanpa ingin membayar. Jadi haruskah Anda menggunakannya? Nah, bagian terakhir itu mungkin jadi penentu untuk semua
00:04:42itu. Jika Anda ingin orkestrasi Anda berupa konfigurasi yang bisa dibaca daripada Python, ini sejujurnya
00:04:47keren. Ini alat yang keren. Dan berjalan secara native di Apple Silicon. Menjalankannya di Mac adalah satu
00:04:53perintah Docker run dan dasbor muncul di localhost. Cobalah. Atau jika Anda sudah
00:04:59mencobanya, tulis pendapat Anda di bawah. Jika Anda menikmati tips dan trik coding seperti ini, pastikan untuk berlangganan.
00:05:03Kami selalu mengunggah video baru.

핵심 요약

Kestra menawarkan alternatif orkestrasi data berbasis konfigurasi YAML yang agnostik bahasa, memungkinkan pengelolaan pipeline tanpa harus menulis dan memelihara kode Python yang kompleks.

하이라이트

  • Kestra menggantikan skrip pipeline berbasis Python dengan konfigurasi YAML untuk proses orkestrasi data.

  • Pipeline Kestra bersifat agnostik bahasa, mampu menjalankan skrip Python, Node, bash, kueri SQL, dan container dalam satu alur kerja.

  • Sistem Kestra mencatat 2 miliar eksekusi alur kerja pada tahun 2025, angka yang meningkat 20 kali lipat dari tahun sebelumnya.

  • Implementasi Kestra memerlukan sumber daya sistem yang cukup tinggi, dengan spesifikasi minimal sekitar 4 GB RAM dan beberapa core CPU.

  • Model bisnis Kestra adalah open-core, di mana fitur manajemen pengguna tingkat lanjut dan log audit berada di balik paywall berbayar.

  • Visualisasi pipeline dan kode konfigurasi saling terkunci, sehingga perubahan pada salah satu bagian otomatis memperbarui bagian lainnya.

타임라인

Masalah Orkestrasi Data Tradisional

  • Metode tradisional menggunakan Cron sering gagal tanpa mekanisme pengulangan atau log yang jelas saat terjadi kesalahan.
  • Apache Airflow mengharuskan setiap pipeline ditulis, dipelihara, dan didebug sebagai program Python yang berat.

Pengaturan urutan pekerjaan seperti pengambilan, pembersihan, dan pemuatan data ke database sering kali berantakan jika dilakukan dengan Cron sederhana. Apache Airflow menjadi solusi standar industri selama bertahun-tahun, namun sistem ini memiliki hambatan operasional karena ketergantungan pada pemeliharaan kode Python.

Mekanisme Konfigurasi YAML di Kestra

  • Kestra mengubah logika pipeline dari program menjadi konfigurasi YAML yang deklaratif.
  • Setiap alur kerja mendukung berbagai bahasa pemrograman dan perintah shell secara berdampingan.
  • Antarmuka visual dan kode konfigurasi sinkron secara otomatis saat dilakukan perubahan.

Pengguna dapat menyusun alur kerja melalui editor browser dengan menulis YAML. Sistem ini memungkinkan integrasi berbagai tugas seperti menjalankan skrip Python, perintah shell, atau kueri SQL dalam satu alur yang sama tanpa terikat pada satu bahasa pemrograman.

Perbandingan dan Adopsi Pasar

  • Konfigurasi YAML lebih mudah dibaca dan diverifikasi oleh pihak non-pengembang dibandingkan kode Python.
  • Kestra mengklaim telah menjalankan 2 miliar alur kerja pada tahun 2025.
  • Pelanggan korporasi besar seperti Apple, JP Morgan, Toyota, dan Bloomberg telah menggunakan alat ini.

Keunggulan utama Kestra terletak pada kemudahan audit pipeline oleh anggota tim yang tidak menguasai Python. Dibandingkan dengan solusi SaaS, Kestra memberikan kontrol penuh kepada pengembang dengan infrastruktur yang di-host sendiri tanpa biaya per tugas.

Keterbatasan dan Pertimbangan Implementasi

  • Aplikasi ini berbasis Java dan membutuhkan setidaknya 4 GB RAM untuk berjalan dengan stabil.
  • Logika percabangan dinamis yang kompleks lebih sulit dikelola dalam format YAML dibandingkan dengan kode Python.
  • Fitur tingkat perusahaan seperti manajemen pengguna dan log audit memerlukan versi berbayar.

Meskipun memiliki kelebihan dalam orkestrasi deklaratif, kebutuhan sumber daya sistem yang cukup besar perlu diperhatikan. Selain itu, model open-core berarti fitur keamanan dan manajemen pengguna yang krusial untuk tim besar tidak tersedia secara gratis.

커뮤니티 글

아직 글이 없습니다. 이 영상에 대한 첫 번째 글을 작성해 보세요!

이 영상에 대해 글쓰기