إطار عمل الذكاء الاصطناعي الصوتي مفتوح المصدر هذا يعمل حقًا (إطار عمل TEN)
원제 · This Open-Source Voice AI Framework Actually Works (TEN Framework)
핵심 요약
يوفر إطار TEN بنية معمارية تعتمد على رسوم بيانية للملحقات بدلاً من السلاسل الخطية لإدارة وكلاء الصوت في الوقت الفعلي ومعالجة المقاطعات المعقدة.
하이라이트
يُعد إطار TEN بيئة تشغيل مفتوحة المصدر لبناء وكلاء محادثة ذكاء اصطناعي متعددي النماذج في الوقت الفعلي مع التركيز الأساسي على الصوت.
يعتمد إطار TEN على هيكل رسوم بيانية يربط شبكة من الملحقات بدلاً من استخدام خط معالجة خطي بسيط.
يدعم إطار TEN تنفيذ الملحقات بلغات برمجة متعددة تتضمن Python وC++ وGo وRust وTypeScript.
يتطلب تشغيل الإطار مفاتيح واجهة برمجة تطبيقات لكل من Agora وDeepgram وOpenAI و11labs مع استخدام Docker Compose.
يوفر إطار TEN مصمماً مرئياً يتيح للمطورين تتبع تدفق البيانات وتصحيح أخطاء أنظمة الصوت في الوقت الفعلي.
타임라인
مقدمة عن إطار TEN وهندسته المعمارية
يركز إطار TEN على المحادثات الحية الفعلية بدلاً من كونها أنظمة قائمة على النصوص أولاً. تتيح بنية الرسوم البيانية فصل وظائف التعرف على الكلام والنماذج اللغوية وتحويل النص إلى كلام واكتشاف نشاط الصوت لتعمل معاً بمرونة أعلى في التعامل مع فوضى المحادثات الحقيقية.
- يتعامل إطار TEN مع تدفق الصوت والمقاطعات والصور الرمزية والاتصالات الهاتفية والوكلاء متعددي النماذج.
- يبني الإطار الوكلاء كشبكة من الملحقات المنفصلة بدلاً من فرض خط معالجة واحد.
- تعالج خطوط المعالجة التقليدية تحويل الكلام إلى نص ثم النموذج اللغوي ثم تحويل النص إلى كلام كسلسلة تفشل عند حدوث المقاطعات.
- يعالج إطار TEN المحادثات الحقيقية باعتبارها رسوماً بيانية وليست سلاسل خطية.
تشغيل الإطار والاختبار التجريبي
تتطلب عملية إعداد الإطار جمع عدة مفاتيح واجهة برمجة تطبيقات وتشغيل حاويات Docker. خلال الاختبار التجريبي، نجح الوكيل في الاستجابة للمقاطعات المباشرة من المستخدم، على الرغم من مواجهة بعض الصعوبات في السياق الدقيق لبعض الأسئلة المطروحة.
- يستلزم تشغيل الإطار توفير مفاتيح API لخدمات Agora وDeepgram وOpenAI و11labs.
- يتم بدء التشغيل باستخدام أمر Docker Compose واحد بعد إدخال مفاتيح التكوين.
- يوفر النظام تكوينات جاهزة مسبقاً تشمل خيارات Deepgram TTS ومساعد الصوت.
- أظهر الاختبار العملي قدرة النظام على التعامل مع المقاطعات رغم ظهور بعض التداخل في استجابات النموذج.
المميزات والتقييم النهائي لاستخدام الإطار
يقدم إطار TEN هيكلاً متكاملاً لإدارة تعقيدات الذكاء الاصطناعي الصوتي في الوقت الفعلي عبر أدوات تصميم مرئية ومرونة في النشر. ورغم أن إعداده قد يبدو معقداً مقارنة بالأنظمة الخطية البسيطة، إلا أنه يمثل خياراً قوياً للمشاريع التي تتطلب معالجة متقدمة للصوت والمقاطعات.
- يتيح المصمم المرئي للمطورين رؤية طريقة اتصال العناصر وتدفق البيانات بوضوح.
- يوفر TEN أمثلة جاهزة مسبقاً لمساعدات الصوت والصور الرمزية واتصالات SIP وأجهزة ESP32.
- يناسب الإطار وكلاء الصوت الإنتاجية التي تتطلب زمناً منخفضاً للاستجابة ومدخلات متعددة النماذج.
- توجد بدائل أخرى مثل LiveKit Agents أو PipeCat قد توفر إعداداً أسرع للمشاريع البسيطة.
설명
In this video, I check out TEN Framework, an open-source framework for building real-time voice AI agents that can handle streaming audio, interruptions, VAD, turn detection, STT, LLMs, TTS, avatars, telephony, and multimodal AI workflows. Most voice AI agents look good but fail when users interrupt, pause, talk over the assistant, or expect a natural conversation, so I wanted to see if TEN Framework actually solves the painful parts of building production-ready voice agents. We’ll look at how TEN uses graph-based extensions, TMAN Designer, and real-time audio pipelines. 🔗 Relevant Links TEN Repo - https://github.com/ten-framework/ten-framework TEN Docs - https://theten.ai/docs ❤️ More about us Radically better observability stack: https://betterstack.com/ Written tutorials: https://betterstack.com/community/ Example projects: https://github.com/BetterStackHQ 📱 Socials Twitter: https://twitter.com/betterstackhq Instagram: https://www.instagram.com/betterstackhq/ TikTok: https://www.tiktok.com/@betterstack LinkedIn: https://www.linkedin.com/company/betterstack 📌 Chapters: 00:00 Why voice AI agents still feel broken 00:40 What is TEN Framework? 01:38 Why STT → LLM → TTS is not enough 02:32 Running TEN Framework with Interruption Test 04:46 How TEN Framework uses graph-based extensions 04:25 TEN Framework vs Voicebox 05:19 What developers like about TEN Framework 06:30 Setup, Docker, API keys, and learning curve 06:56 Should you use TEN Framework?