스크립트
00:00:00이곳은 단 하나의 약속으로 최근 2,500만 달러를 투자받은 스타트업, 케스트라(Kestra)입니다.
00:00:06그 약속은 바로 아파치 에어플로우(Apache Airflow)를 끝장내겠다는 것이죠. 그들의 비결은 너무나 단순해서 오히려 황당하게 들릴 정도입니다.
00:00:12데이터 파이프라인을 파이썬으로 작성하는 것을 멈추고, YAML로 작성하기 시작하는 것입니다.
00:00:17계속 지켜봐 주세요. 이 한 가지가 생각보다 훨씬 대단하거든요.
00:00:21앞으로 몇 분 동안 이게 어떻게 작동하는지 보여드리겠습니다.
00:00:29순서대로 실행되어야 하는 작업 체인을 상상해 보세요. 데이터를 가져와서, 정리하고,
00:00:35데이터베이스에 로드한 다음, API를 호출하여 다음 작업을 시작하는 것이죠. 크론(Cron)으로도 연결할 수 있겠지만,
00:00:41한 단계라도 실패하는 순간, 모든 게 엉망이 됩니다. 재시도도, 로그도 없고 무엇이 문제였는지조차 알 수 없죠.
00:00:48이런 문제를 해결하기 위해 오케스트레이션 도구가 만들어졌습니다. 그리고 에어플로우는 오랫동안 이 분야의 왕이었죠.
00:00:54에어플로우의 문제는 모든 파이프라인이 파이썬 프로그램이라서
00:00:58직접 작성하고 유지보수하며 디버깅해야 한다는 점입니다. 시스템 자체가 무겁고,
00:01:04내 컴퓨터에 설치하는 것조차 대부분의 개발자는 좋아하지 않을 겁니다. 워크플로우 속도를 높여주는
00:01:09도구들을 사용하는 것을 좋아하신다면 꼭 구독해 주세요. 유용한 영상이 계속 올라옵니다.
00:01:14이제 케스트라의 핵심은 워크플로우가 프로그램일 필요가 없다는 것입니다. 그저
00:01:19설정이면 충분하다는 거죠. 그게 무슨 뜻인지 보여드릴게요. 지금 브라우저 편집기를 열어서,
00:01:24YAML로 간단한 흐름을 작성해 보겠습니다. 몇 단계로 나눠서, 하나는 파이썬 스크립트를 실행하고, 하나는 셸 명령어를 실행하죠.
00:01:32실행 버튼을 누르면 화면을 보세요. 각 단계가 실행될 때마다 다이어그램에 실시간으로 표시가 됩니다.
00:01:41타임라인 뷰로 넘어가서 각 작업이 얼마나 걸렸는지 확인하고, 원하는 단계의 로그를 바로 클릭해 볼 수 있죠.
00:01:47오케스트레이션 코드를 한 줄도 작성하지 않았는데 파이프라인 전체가 방금 실행된 겁니다.
00:01:53자, 그럼 이 시스템은 어떻게 돌아갈까요? 모든 워크플로우는 이른바
00:02:00‘플로우’라고 불리며, 실제로는 그냥 YAML 파일입니다. 작업 목록과 그것을 시작하는 트리거로 이루어져 있죠. 작업은 언어에
00:02:08구애받지 않는다는 점이 큰 장점입니다. 하나의 플로우에서 파이썬, 노드, 배시, SQL 쿼리를 돌리고,
00:02:15컨테이너까지 하나로 연결해서 실행할 수 있습니다. 에어플로우는 파이썬을 강요하고, N8N은
00:02:22자바스크립트를 원하죠. 케스트라는 어떤 언어로 작성되었는지 상관하지 않으며, 트리거는
00:02:27시스템 자체에 내장되어 있습니다. 크론처럼 일정에 맞춰 실행하거나, 웹훅이 발생할 때,
00:02:34또는 버킷에 파일이 올라오거나, API를 통해 호출할 수도 있죠. 제가 좋아하는 또 다른 점은 코드와 비주얼
00:02:39빌더가 서로 동기화되어 있다는 겁니다. 하나를 수정하면 다른 하나가 자동으로 업데이트되죠. 그렇다면,
00:02:46이미 사용 중인 에어플로우 같은 도구들과 비교했을 때 왜 관심을 가져야 할까요? 에어플로우와 비교하면, 파이프라인이
00:02:53파이썬을 모르는 사람도 읽고 풀 리퀘스트에서 승인할 수 있는 깔끔한 설정 파일로 변합니다.
00:02:59그리고 에어플로우의 스케줄러보다 병렬 처리가 훨씬 효율적이라는 평가를 받기도 하죠.
00:03:05좋긴 하지만, 자피어(Zapier)나 메이크(Make)와 비교하면 SaaS 방식이 아니라 작업당 비용이 발생하지 않습니다.
00:03:12개발자와 실제 인프라를 위해 만들어졌고 직접 호스팅하는 방식이죠. 그리고 단순한 크론과 비교하면,
00:03:19재시도, 타임아웃, 실제 의존성 맵, 그리고 완성된 UI를 바로 사용할 수 있습니다. 케스트라에 따르면,
00:03:262025년에 20억 개의 워크플로우를 처리했다고 합니다. 전년 대비 20배나 증가한 수치죠. 애플, JP모건,
00:03:32도요타, 블룸버그 같은 기업들이 고객으로 있습니다. 하지만 이러한 성장 수치는 회사가
00:03:38직접 발표한 것이지 외부 감사를 받은 것은 아니니 적당히 걸러 들을 필요는 있습니다. 하지만 점점 더
00:03:43많은 사람들이 이런 선언적인 설정 중심의 오케스트레이션 방식이 업계의 미래라고 확신하고 있습니다.
00:03:49물론 몇 가지 걸림돌은 있습니다. 첫째로, 이 앱은 자바 기반입니다. JVM은 리소스를 많이 먹죠. 서버를
00:03:58원활하게 돌리려면 최소 4GB의 RAM과 CPU 코어 몇 개가 필요합니다. 둘째, YAML은 깔끔하고 선형적인 파이프라인에는 최고지만,
00:04:06복잡한 동적 분기 로직이 필요해지면 다루기 까다로워집니다. 그런 점에서는 파이썬 기반 도구가 훨씬 낫죠.
00:04:11마지막으로, 케스트라는 오픈 코어 방식입니다. 엔진 자체는 완전히 오픈 소스지만,
00:04:18SSO(싱글 사인온), 역할 기반 액세스 제어(RBAC), 감사 로그 등은
00:04:24유료 결제 장벽 뒤에 숨겨져 있죠. 그래서 무료 버전은 하나의 공유 로그인만 제공합니다. 이게
00:04:31혼자 사용할 때는 충분하지만, 실제 멀티 유저 제어 시스템이 필요한 순간 돈을 지불해야 하는 문제가 생깁니다.
00:04:36그럼 사용해야 할까요? 마지막 부분이 결정적인 요소가 될 수도 있겠네요. 만약 파이썬 대신 읽기 쉬운 설정 파일로
00:04:42오케스트레이션을 관리하고 싶다면 정말 괜찮은 도구입니다. 게다가
00:04:47애플 실리콘에서도 네이티브로 실행됩니다. 맥에서 Docker run 명령어 한 줄이면 바로
00:04:53대시보드가 로컬호스트에 뜹니다. 한번 시도해 보세요. 이미 써보셨다면
00:04:59의견을 남겨주세요. 이런 코딩 팁과 도구 정보가 유익했다면 꼭 구독해 주세요.
00:05:03앞으로도 계속 유용한 영상이 올라옵니다.