호박에게 슈퍼 인텔리전스를 부여했습니다

하이라이트

• 호박에 인공지능을 탑재한 스마트 스피커를 만들기 위해 라즈베리 파이, 마이크, 스피커, LED 조명을 납땜하여 하드웨어를 직접 조립했다.

• 퍼마 프로토 보드를 엉망으로 납땜하여 바닥의 핀이 쿨러에 닿는 합선 문제가 발생했으나 카드 조각을 사이에 끼워 해결했다.

• 텍스트 음성 변환에는 셰르파 ONNX와 파라키트 모델을 사용하고, 빠른 응답 속도를 위해 딥시크 플래시 모델을 원격 LLM으로 연동했다.

• 로컬 음성은 소리가 끔찍하고 강력한 기기가 필요하여, 텍스트를 일레븐랩스 플래시로 보내 고품질의 할로윈 테마 목소리로 변환했다.

• 조각한 호박 안에 전자기기가 단락되는 것을 막기 위해 내부에 랩을 채우고 라즈베리 파이와 연결했다.

타임라인

1. 00:00 - 01:34

   스마트 호박 제작 프로젝트 개요

   기존 스마트 스피커의 답답함에서 출발하여 실제로 작동하는 지능형 호박을 만들기 위한 전체 설계도를 설명한다. 하드웨어 구성부터 소프트웨어 구축 단계까지 로컬 모델과 원격 LLM을 결합하는 방식을 다룬다.

   • 시중의 스마트 스피커가 기본적인 질문조차 답하지 못해 직접 인공지능 호박 스피커를 제작한다.
   • 라즈베리 파이, 마이크, 스피커, LED 조명을 조립하고 로컬 음성 인식과 원격 LLM을 연동할 계획이다.
   • 제미나이나 딥시크 플래시처럼 빠른 모델을 사용하여 1초 이내에 응답하는 사용자 경험을 목표로 한다.
2. 01:34 - 05:56

   하드웨어 조립 및 납땜 과정

   초보자로서 겪는 납땜의 어려움과 전선 연결 과정을 보여준다. 라즈베리 파이 위에 퍼마 프로토 보드와 액티브 쿨러를 얹고 마이크와 스피커를 장착하는 동안 발생한 쇼트 문제를 임시 조치로 해결하여 작동에 성공한다.

   • 생애 처음으로 납땜용 인두를 잡아 연습 키트와 유튜브 영상을 활용해 납땜을 익혔다.
   • 호박의 눈에 들어갈 LED 조명 링을 서로 연결하고 퍼마 프로토 HAT에 각종 부품을 납땜했다.
   • 납땜 불량으로 쿨러와 핀이 닿아 합선이 발생했으나 카드 조각을 끼워 문제를 해결했다.
3. 05:56 - 10:20

   소프트웨어 구축 및 호박 결합

   지연 없는 대화를 위해 1초 이내 답변이 가능한 모델들을 선별하고 최종 음성 출력을 완성한다. 이후 직접 조각한 호박 속에 회로가 손상되지 않도록 보호 조치를 취한 뒤 음성 대화와 일정 안내 기능을 정상적으로 시연한다.

   • 파이썬과 셰르파 ONNX, 파라키트를 활용해 텍스트 음성 변환 시스템을 구축했다.
   • 가장 빠른 응답 속도를 보여준 딥시크 플래시와 일레븐랩스 플래시를 연동하여 할로윈 목소리를 구현했다.
   • 조각한 호박 내부에 랩을 채워 전자기기 합선을 방지하고 하드웨어를 안착시켰다.