Fast AI 패널: Cerebras, TypeSafe AI, Vercel과의 대화

하이라이트

• 세레브라 시스템즈의 AI 칩은 기존 GPU보다 추론 속도가 15배에서 20배 더 빠르다.

• 빠른 추론 속도는 사용자가 대기 시간 없이 AI와 실시간으로 상호작용하는 루프 안에 머물 수 있게 만든다.

• 넷플릭스가 느린 DVD 배달에서 빠른 스트리밍 환경으로 전환하며 영화 스튜디오로 진화했듯이, 극단적인 속도는 새로운 시장을 창출한다.

• 전 세계 대부분의 지역에서는 모델이 LLM보다 고작 2배에서 3배 정도밖에 빠르지 않으며, 이를 10배 이상 끌어올리는 것이 핵심 과제이다.

• 개발자들은 주류의 내러티브를 맹신하지 말고 미지의 영역과 새로운 길을 개척해야 한다.

타임라인

1. 00:00 - 03:35

   빠른 AI와 추론 기술의 현재

   앤드루와 제브는 각자의 회사 소개와 함께 빠른 추론이 지니는 중요성을 설명한다. 세레브라의 하드웨어가 제공하는 압도적인 속도는 AI를 소프트웨어에 실제로 유용하고 신뢰할 수 있게 만드는 핵심 동력이다. 완벽한 자율 주행 소프트웨어 제작은 아직 이르지만, 언어 모델 능력과 동적 UI가 결합되면서 향후 컴파일러와 OS 영역까지 변화시킬 가능성이 제기된다.

   • 세레브라 시스템즈는 AI 연산을 위한 칩, 시스템, 완전한 서버를 제조한다.
   • 해당 하드웨어는 기존 어떤 GPU보다 15배에서 20배 더 빠른 추론 속도를 제공한다.
   • 소프트웨어 생성은 아직 완전 자율적인 신뢰성 기준을 충족하지 못해 소프트웨어의 내부 루프 안에서 작동해야 한다.
2. 03:35 - 06:48

   속도가 창출하는 가치와 새로운 시장

   다이얼업 인터넷 비유를 통해 사용자가 원하는 기술을 접했을 때 즉각적인 반응을 기대한다는 점을 강조한다. ChatGPT를 실행해 놓고 커피를 마시러 가는 대기 시간은 생산성을 저해하며, 실시간에 가까운 응답 속도는 사용자가 지속적인 교감 루프 안에 머물게 한다. 과거 네트워크 속도의 발달이 새로운 산업을 탄생시켰듯, AI 추론의 속도 역시 완전히 새로운 비즈니스 모델과 시장을 창출한다.

   • AI가 유용해지면서 결과물을 기다리지 않고 즉시 얻기를 원하는 수요가 폭발적으로 증가했다.
   • 느린 속도는 사용자의 집중을 흐트러뜨리고 생산성에 치명적인 악영향을 미친다.
   • 넷플릭스가 인터넷 속도 향상에 맞춰 DVD 배달에서 영화 스트리밍 스튜디오로 진화했듯이 극단적인 속도는 새로운 시장을 연다.
3. 06:48 - 13:30

   실시간 에이전트와 인프라의 확장

   100밀리초 미만의 초고속 응답을 활용한 구체적인 데모 사례와 실무 적용 방안이 논의된다. 사용자의 입력을 실시간으로 파악하여 애플리케이션 전환이나 텍스트 삽입을 스스로 처리하는 인턴 같은 에이전트의 등장이 소개된다. 또한 보안 트래픽 필터링과 라우팅 등 방대한 요청을 지연 없이 처리하는 인프라의 가치가 강조된다.

   • 100밀리초 미만의 속도를 가진 모델은 키보드를 완전히 없애고 대화하듯 컴퓨터를 조작하는 인터페이스를 가능하게 한다.
   • 크라우드스트라이크 같은 기업은 모든 트래픽을 인라인 상태로 검사하는 AI 기반 보안 제품에 해당 기술을 활용한다.
   • 현재의 개발 속도를 10배 이상 끌어올리는 것은 정규식 대신 간단한 모델을 호출하는 패러다임 변화를 이끈다.
4. 13:30 - 24:11

   하드웨어 혁신과 주류 내러티브 탈피

   칩 제조 비용과 연산 능력의 역사적 발전 양상을 짚어보며 향후 모델과 하드웨어가 더욱 다양화되는 캄브리아기 대폭발 같은 현상이 벌어질 것임을 전망한다. 단일한 AI 개발 경로에 갇히지 말고 새로운 길을 탐구할 필요성이 제기된다. 마지막으로 개발자들에게 지난 몇 달간 발전한 소프트웨어 자동화 기능을 바탕으로 비관적 가정을 재검토하고 자신의 열정을 따를 것이 권장된다.

   • 컴퓨팅 역사는 세대를 거듭할수록 더 빠르고 저렴해지는 방향으로 발전해 왔다.
   • 업계가 단 하나의 AI 개발 길에만 지나치게 편향되어 과대광고와 과소한 결과물을 낳고 있다.
   • 개발자들은 주류 내러티브를 맹신하지 말고 위험을 감수하며 미지의 영역을 개척해야 한다.