NVIDIA Nemotron 3 Diarization يتتبع ثمانية متحدثين في الصوت

تتفوق أدوات التعرف التلقائي على الكلام في تفريغ الكلمات المنطوقة، غير أن التفريغ النصي بمفرده يترك سياق الحوار الأساسي دون معالجة واضحة. فبدون معرفة هوية المتحدث وتوقيت حديثه، تعجز البرمجيات عن تحديد من قدم التزاماً معيناً، أو طرح اعتراضاً، أو قاطع النقاش الجاري. وهنا تقدم تقنية تجزئة المتحدثين الطوابع الزمنية اللازمة لكل مشارك، مما يتيح لنماذج اللغة ومنظومات التحليل إسناد كل عبارة إلى صاحبها بدقة. وفي هذا الإطار، وسعت NVIDIA منظومتها الصوتية بإطلاق Nemotron 3 Diarization، وهو نموذج مفتوح الأوزان يضم 100 مليون معلمة ومصمم لتمييز حتى ثمانية متحدثين في الملفات المسجلة وتدفقات الصوت المباشر ذات زمن التأخير المنخفض.

البنية الهندسية وتتبع المتحدثين حسب ترتيب الظهور

يستقبل Nemotron 3 Diarization التسجيلات الصوتية أحادية القناة بتردد 16 كيلوهرتز عبر الصيغ القياسية مثل .wav و.flac و.opus و.mp3. ويعمل النظام على تحويل الإشارات الصوتية الخام إلى ميزات مخطط ميل الطيفي بخطوة إطار قدرها 10 مللي ثانية، تُدمج بعد ذلك بمقدار ثمانية أضعاف لتكوين أطر ترميزية تبلغ 80 مللي ثانية. تمر هذه الأطر عبر مشفر محول مكوّن من 31 طبقة ومزود بتضمينات موضعية دوارة، ثم ترفع طبقة التفاف أحادية البعد دقة المخرجات مجدداً إلى 10 مللي ثانية، لتعطي مصفوفة ثلاثية الأبعاد بأبعاد [T, 8] تمثل احتمالية تنشيط قنوات المتحدثين الثمانية في كل لحظة زمنية.

يتعامل هذا التمثيل متعدد القنوات مع تداخل الأصوات بصورة مباشرة؛ فعند تحدث شخصين في وقت واحد، تسجل قناتان منفصلتان احتمالات موجبة في الإطار الزمني نفسه. وتعتمد البنية على منهجية Sortformer لترتيب المتحدثين بصرامة حسب وقت ظهورهم الأول في المقطع، حيث يُسند الصوت الأول المكتشف إلى القناة الأولى، ويليه الصوت الثاني في القناة الثانية، وهكذا لبقية الأصوات. يضمن هذا الإجراء ثبات تصنيف المتحدثين المجهولين خلال جلسات البث الحي دون الحاجة إلى إعادة فحص التباديل بين المقاطع الصوتية المتتالية.

• ذاكرة التخزين المؤقت للمتحدثين حسب ترتيب الوصول (AOSC): تحتفظ بالتمثيلات السابقة للأصوات من المقاطع السابقة موزعة حسب القنوات.
• طابور الوارد أولاً يخرج أولاً (FIFO): يمد نافذة الترميز الحالية بسياق الإطارات السابقة بشكل مباشر.
• مخزن السياق الأيمن المؤقت: يستقبل الصوت التالي للمقطع الحالي للمساعدة في ضبط وتحديد نقاط التحول بين المتحدثين.
• إسناد الهوية المجهولة: تقوم الأنظمة اللاحقة بربط مخرجات القنوات الرقمية بالأشخاص الفعليين عبر التحقق الصوتي أو البيانات الوصفية.

أزمنة التأخير التشغيلية ومستويات الأداء في التقييمات

يتيح النموذج ضبط زمن تأخير التخزين المؤقت للمدخلات بناءً على حجم المقطع والسياق الأيمن مضروبين في 80 مللي ثانية. وتحدد NVIDIA أربع نقاط تشغيل رئيسية تشمل 30.4 ثانية للمعالجة غير المتصلة بالإنترنت، ومخازن مؤقتة للبث المباشر تبلغ 1.04 ثانية و0.64 ثانية و0.32 ثانية. ورغم إمكانية تقليص المخزن المؤقت تقنياً إلى 80 مللي ثانية، توضح NVIDIA أن 0.32 ثانية هو أدنى حد تشغيلي موصى به لضمان استقرار المعالجة. وتمثل هذه الأرقام زمن تخزين الصوت فقط، مستثنية وقت المعالجة الحسابية على العتاد والنقل عبر الشبكة وعمليات التعرف على الكلام.

في التقييم الأولي على منصة Voice Arena Diarization-Bench، والذي شمل 139 محادثة باللغة الإنجليزية بإجمالي نحو 22 ساعة، نال Nemotron 3 Diarization المركز الأول بين 12 نظاماً و17 إعداداً مختلفاً. وتحت ظروف شملت تداخل الكلام والكشف الآلي عن النشاط الصوتي وبطوق زمني صفري، سجل النموذج معدل خطأ في التجزئة بلغ 14.72%، محققاً انخفاضاً نسبياً بنحو 24% مقارنة بنسبة 19.3% للنظام الذي تلاه، ومحافظاً على الصدارة مع أطواق زمنية بلغت 100 و250 مللي ثانية في الحوارات الشبكية والشخصية، مع بقاء هذه النتائج خاضعة للمراجعة النهائية للإصدار الأول من المنصة.

بالمقارنة مع نموذج NVIDIA السابق المخصص لأربعة متحدثين (diar_streaming_sortformer_4spk-v2.1) عند زمن تأخير قدره 1.04 ثانية، خفض النموذج الجديد معدل خطأ التجزئة عبر كافة السيناريوهات الثمانية المختبرة، بنسب تحسن تراوحت بين 9.0% على CALLHOME-Part2 و65.2% على NOTSOFAR1 MHM، بمتوسط انخفاض غير موزون بلغ 41.0%. وشهد النموذج تراجعاً محدوداً في اختبار المتحدثين الاثنين على CALLHOME عند تأخير 30.4 ثانية، حيث ارتفع الخطأ من 5.68% إلى 5.98%، رغم تحسن كامل تقييم CALLHOME-Part2 من 10.32% إلى 9.10%. كما بلغت إنتاجية معالجة الدفعات المجمعة بحجم 32 على معالج NVIDIA RTX PRO 5000 بدقة BF16 نحو 15,113 ضعف الوقت الفعلي عند تأخير 30.4 ثانية، مقارنة بـ 2,619 ضعفاً للنموذج الأساسي.

بيانات التدريب ومتطلبات النشر والقيود الفنية

اعتمد تدريب النموذج ذي الـ 100 مليون معلمة على دمج قرابة 10,000 ساعة من التسجيلات الصوتية الواقعية مع 82,611 ساعة من الحوارات الصوتية الاصطناعية المتعددة. وشملت البيانات الاصطناعية تسجيلات مرخصة تمتد عبر 21 لغة، إلى جانب تسجيلات حوارية فعلية مرخصة من David AI. وأسهم إدراج بيانات David AI في خفض معدل خطأ التجزئة الإجمالي من 11.19% إلى 10.42% عبر التقييمات غير المتصلة والتقييمات ذات التأخير فائق الانخفاض.

يتوفر Nemotron 3 Diarization تحت ترخيص OpenMDW License 1.1 عبر منصة Hugging Face مع السماح بالاستخدام التجاري، ويعمل ضمن إطار عمل NVIDIA NeMo Speech على أنظمة Linux المزودة بمعالجات رسومية من معمارية Ampere أو Ada Lovelace أو Hopper أو Blackwell، ويتطلب بيئة تشغيل Python 3.12 أو أحدث. ويمكن دمجه مع نماذج تفريغ الكلام مثل Parakeet TDT 0.6B v3 لتكوين نظام متكامل، ويدعم النشر عبر منصات مثل Baseten وDigitalOcean والتكامل الطرفي عبر حزمة Argmax Pro SDK 3، في حين لا تتوفر خيارات الاستدلال المباشر عبر Hugging Face حالياً.

يتعين على المؤسسات مراعاة الحدود التشغيلية المحددة للنموذج، إذ يقتصر تتبعه الصارم على ثمانية متحدثين متزامنين فقط؛ ويؤدي تجاوز هذا العدد إلى فقدان بعض المقاطع أو حدوث أخطاء في نسب القنوات. كما يمكن أن تتسبب عوامل مثل الارتداد الصوتي القوي، والضوضاء المحيطة المرتفعة، والتقاط الصوت من مسافات بعيدة، واختلاف بيئات التوزيع الصوتي، في زيادة معدلات خطأ التجزئة.

الأثر الفعلي على منظومات معالجة الصوت في المؤسسات

يقدم Nemotron 3 Diarization للفرق الهندسية المطورة لحلول الذكاء الحواري ومراكز الاتصال وأنظمة تدوين الاجتماعات الفورية أداة برمجية مفتوحة الأوزان وقابلة للتطبيق تجارياً لتحليل الحوارات المتداخلة المعقدة. وبفضل مضاعفة القدرة الاستيعابية من أربعة إلى ثمانية متحدثين مع الحفاظ على استقرار القنوات في البث المباشر، تستطيع المؤسسات بناء منظومات تفريغ سريعة تسند كل حديث إلى قائله بدقة دون الاعتماد على واجهات برمجية مغلقة المصدر.