यह ओपन-सोर्स वॉयस AI फ्रेमवर्क वास्तव में काम करता है (TEN फ्रेमवर्क)
원제 · This Open-Source Voice AI Framework Actually Works (TEN Framework)
핵심 요약
TEN फ्रेमवर्क जटिल, रियल-टाइम वॉयस AI एजेंट बनाने के लिए एक ग्राफ-आधारित आर्किटेक्चर प्रदान करता है, जो रैखिक पाइपलाइन के विपरीत बेहतर बातचीत नियंत्रण और डीबगिंग क्षमताएं देता है।
하이라이트
TEN फ्रेमवर्क एक ओपन-सोर्स रनटाइम है जो वॉयस AI एजेंटों को पाइपलाइन के बजाय एक्सटेंशन के ग्राफ के रूप में व्यवस्थित करता है।
यह फ्रेमवर्क Python, C++, Go, Rust और TypeScript में कस्टम एक्सटेंशन का समर्थन करता है।
Docker Compose का उपयोग करके TEN फ्रेमवर्क को केवल एक कमांड से शुरू किया जा सकता है।
यह सिस्टम रियल-टाइम ऑडियो में बाधा डालने, टर्न डिटेक्शन, समानांतर टूल कॉलिंग और चुप्पी का पता लगाने जैसी जटिल बातचीत की जरूरतों को संभालता है।
एजेंट को डीबग करने के लिए इसमें एक विजुअल डिज़ाइनर टूल शामिल है, जो डेटा के प्रवाह को देखने की सुविधा देता है।
타임라인
TEN फ्रेमवर्क का परिचय
यह फ्रेमवर्क स्ट्रीमिंग ऑडियो, इंटरप्शन, और अवतार जैसे घटकों को एक एकीकृत ग्राफ में जोड़ता है। अधिकांश मानक मॉडल वॉयस एजेंट की जटिलता को नहीं संभाल पाते, जबकि यह सिस्टम सक्रिय बातचीत के दौरान टोकने जैसी क्रियाओं को सहज बनाने के लिए डिज़ाइन किया गया है।
- TEN फ्रेमवर्क विशेष रूप से लाइव, मल्टी-मॉडल संवादात्मक AI एजेंटों के लिए बनाया गया है।
- यह टेक्स्ट-फर्स्ट मॉडल के बजाय ऑडियो और बातचीत की जटिलता को केंद्र में रखता है।
- एजेंट का आर्किटेक्चर एक सीधी रेखा के बजाय एक्सटेंशन के एक जटिल ग्राफ के रूप में काम करता है।
आर्किटेक्चर और सेटअप
एक एजेंट बनाने के लिए पहले 'Docker Compose up' कमांड का उपयोग किया जाता है। इसमें पहले से तैयार कॉन्फ़िगरेशन मौजूद हैं, जो उपयोगकर्ताओं को स्क्रैच से कोडिंग किए बिना विभिन्न क्षमताओं को एकीकृत करने में मदद करते हैं।
- पारंपरिक रैखिक पाइपलाइनों के विपरीत, TEN समानांतर में टूल्स कॉल करने और जनरेशन रद्द करने की अनुमति देता है।
- प्रत्येक एक्सटेंशन (जैसे STT, LLM, TTS) स्वतंत्र रूप से काम करता है, जो वास्तविक समय की बातचीत के लिए आवश्यक है।
- इसे चलाने के लिए Agora (ऑडियो), Deepgram (वाक् पहचान), OpenAI (LLM), और 11labs (आवाज़) जैसी API कुंजियों की आवश्यकता होती है।
कार्यात्मक परीक्षण और विजुअल डीबगिंग
परीक्षण में सामने आया कि यद्यपि एजेंट टोकने पर प्रतिक्रिया देने में सक्षम है, लेकिन कभी-कभी विषय को गलत समझने जैसी त्रुटियां हो सकती हैं। डिज़ाइनर टूल यह देखने के लिए उपयोगी है कि विभिन्न ऑडियो फ्रेम और एक्सटेंशन एक-दूसरे से कैसे जुड़े हुए हैं।
- लाइव परीक्षण के दौरान, एजेंट के बीच में टोकने की क्षमता का प्रदर्शन किया गया।
- विजुअल डिज़ाइनर टूल के माध्यम से एजेंट के घटकों के बीच डेटा के प्रवाह को ट्रैक किया जा सकता है।
- सिस्टम की ग्राफ-आधारित संरचना उन क्षेत्रों को पहचानने में मदद करती है जहाँ प्रतिक्रिया धीमी हो सकती है।
उपयोग और निष्कर्ष
सिस्टम का चयन तब किया जाना चाहिए जब प्रोडक्शन-लेवल वॉयस एजेंट की आवश्यकता हो। यदि प्राथमिकता सेटअप में आसानी है, तो अन्य विकल्प अधिक प्रभावी हो सकते हैं, लेकिन अधिक जटिल और अनुकूलन योग्य एजेंटों के लिए TEN फ्रेमवर्क काफी समय की बचत करता है।
- TEN उन परियोजनाओं के लिए सबसे उपयुक्त है जिन्हें प्राकृतिक वॉयस बातचीत और जटिल आर्किटेक्चर नियंत्रण की आवश्यकता होती है।
- सरल वॉयस प्रोटोटाइप के लिए LiveKit या PipeCat का उपयोग करना अधिक तीव्र हो सकता है।
- यह जटिलता को दूर नहीं करता है, बल्कि इसे मैनेज करने के लिए एक ढांचा प्रदान करता है।
설명
In this video, I check out TEN Framework, an open-source framework for building real-time voice AI agents that can handle streaming audio, interruptions, VAD, turn detection, STT, LLMs, TTS, avatars, telephony, and multimodal AI workflows. Most voice AI agents look good but fail when users interrupt, pause, talk over the assistant, or expect a natural conversation, so I wanted to see if TEN Framework actually solves the painful parts of building production-ready voice agents. We’ll look at how TEN uses graph-based extensions, TMAN Designer, and real-time audio pipelines. 🔗 Relevant Links TEN Repo - https://github.com/ten-framework/ten-framework TEN Docs - https://theten.ai/docs ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 Why voice AI agents still feel broken 00:40 What is TEN Framework? 01:38 Why STT → LLM → TTS is not enough 02:32 Running TEN Framework with Interruption Test 04:46 How TEN Framework uses graph-based extensions 04:25 TEN Framework vs Voicebox 05:19 What developers like about TEN Framework 06:30 Setup, Docker, API keys, and learning curve 06:56 Should you use TEN Framework?