Este Framework de IA de Voz Open-Source Realmente Funciona (Framework TEN)
원제 · This Open-Source Voice AI Framework Actually Works (TEN Framework)
핵심 요약
O framework TEN oferece uma arquitetura baseada em grafos para agentes de voz multimodais, permitindo lidar com interrupções e conversas não lineares de forma superior aos modelos lineares simples de STT-LLM-TTS.
하이라이트
O Framework TEN utiliza uma arquitetura baseada em grafos para gerenciar agentes de voz, em vez do modelo linear tradicional de pipeline.
A estrutura suporta extensões de código em Python, C++, Go, Rust e TypeScript para tarefas de reconhecimento de fala, processamento de LLM e síntese de voz.
A configuração do sistema exige chaves de API externas, incluindo Deepgram para conversão de fala em texto, um LLM como o da OpenAI e 11labs para a geração de áudio.
O ambiente de execução é iniciado via Docker Compose, permitindo o gerenciamento de componentes multimodais como visão, telefonia SIP e avatares.
O design visual do TEN permite depurar fluxos de dados complexos em sistemas de voz que, de outra forma, seriam difíceis de rastrear.
타임라인
Arquitetura e Conceito do Framework TEN
Ao contrário de pipelines lineares que processam áudio em sequência, o TEN trata a fala como um fluxo contínuo. Isso possibilita que o agente pare de falar, cancele gerações em curso ou chame ferramentas durante a interação, algo essencial para conversas telefônicas ou diálogos naturais onde interrupções são frequentes.
- O TEN foca em conversas reais e ao vivo, suportando áudio em streaming, interrupções e agentes multimodais.
- O sistema organiza as funções do agente como um grafo de extensões, tratando cada componente como uma peça separada.
- A estrutura permite que componentes como STT, LLM, TTS e memória operem em paralelo para lidar com a imprevisibilidade de conversas humanas.
Configuração e Testes Práticos
A configuração envolve integrar múltiplos serviços externos para compor o agente. Nos testes de interrupção, o sistema mostrou-se capaz de parar uma resposta longa, embora tenha ocorrido uma falha em explicar o próprio propósito durante a demonstração, evidenciando que a precisão depende do ajuste fino dos componentes.
- A inicialização do sistema é realizada via Docker Compose após a configuração das chaves de API do Deepgram, OpenAI e 11labs.
- O framework demonstra capacidade funcional de interrupção, onde o agente interrompe a fala atual quando o usuário intervém.
- A implementação nem sempre é perfeita, com potenciais falhas de reconhecimento ou latência em cenários complexos.
Gerenciamento Visual e Aplicações do TEN
O design visual serve principalmente para depuração, facilitando o diagnóstico de gargalos no fluxo de voz. Embora exija mais esforço inicial que soluções de pipeline simples, o sistema compensa em projetos que demandam flexibilidade de implantação e recursos como diarização ou hardware dedicado, como ESP32.
- O gerenciador visual permite visualizar conexões entre extensões e o fluxo de dados em tempo real.
- O TEN é indicado para produção ou protótipos complexos que exigem baixa latência e controle de fluxo, sendo excessivo para agentes baseados apenas em texto.
- Alternativas como LiveKit Agents ou PipeCat podem ser preferíveis para prototipagem rápida devido ao menor atrito de configuração.
설명
In this video, I check out TEN Framework, an open-source framework for building real-time voice AI agents that can handle streaming audio, interruptions, VAD, turn detection, STT, LLMs, TTS, avatars, telephony, and multimodal AI workflows. Most voice AI agents look good but fail when users interrupt, pause, talk over the assistant, or expect a natural conversation, so I wanted to see if TEN Framework actually solves the painful parts of building production-ready voice agents. We’ll look at how TEN uses graph-based extensions, TMAN Designer, and real-time audio pipelines. 🔗 Relevant Links TEN Repo - https://github.com/ten-framework/ten-framework TEN Docs - https://theten.ai/docs ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 Why voice AI agents still feel broken 00:40 What is TEN Framework? 01:38 Why STT → LLM → TTS is not enough 02:32 Running TEN Framework with Interruption Test 04:46 How TEN Framework uses graph-based extensions 04:25 TEN Framework vs Voicebox 05:19 What developers like about TEN Framework 06:30 Setup, Docker, API keys, and learning curve 06:56 Should you use TEN Framework?