تحويل النصوص إلى كلام

كوكورو هو نموذج تحويل النص إلى صوت يحتوي على 82 مليون بارامترات، ويتميز بقدرته على التحدث بلغة طبيعية وتعبيرية بشكل ملحوظ، على الرغم من حجمه الصغير. ويدعم كوكورو لغات متعددة، بما في ذلك الإنجليزية، واليابانية، والصينية، والكورية، مع مجموعة متنوعة من الأصوات التعبيرية. وهو يعمل بسرعة لا تصدق، حيث يولد الصوت بسرعة تبلغ 100 مرة تقريباً من الصوت في الوقت الحقيقي على وحدة المعالجة المركزية.

بايبِر هو محرك خفيف الوزن لتحويل النص إلى صوت طورته شركة راشسباي ويستخدم الهندسة المعمارية VITS و larynx ويعمل بالكامل على وحدة المعالجة المركزية مما يجعله مثاليا لأجهزة الحافة والتشغيل الآلي للمنازل والتطبيقات التي تتطلب تحويل النص إلى صوت خارج الشبكة وبأكثر من 100 صوت عبر 30 لغة، يقدم بايبِر صوت طبيعي بسرعة في الوقت الحقيقي حتى على أجهزة راببيري باي 4.

ويعتبر VITS (الاستدلال المتغير مع التعلم التنازعيّ لتحويل النص إلى كلمة من البداية إلى النهاية) طريقة موازية لتحويل النص إلى كلمة من البداية إلى النهاية، وهي طريقة تولد صوتاً أكثر طبيعية من النماذج الحالية ذات المرحلتين. وهي تعتمد الاستدلال المتغير مع تدفقات تطبيعية وعملية تدريب تنازعية، مما يحقق تحسناً كبيراً في الطبيعة.

MeloTTS من MyShell.ai هي مكتبة متعددة اللغات لترجمة النصوص إلى صوت تدعم اللغة الإنجليزية (الأمريكية، البريطانية، الهندية، الأسترالية)، والإسبانية، والفرنسية، والصينية، واليابانية، والكورية. وهي سريعة للغاية، وتجهز النص بسرعة قريبة من الزمن الحقيقي على وحدة المعالجة المركزية وحدها. وقد صُممت MeloTTS لاستخدام الإنتاج وتدعم كلاً من استنتاج وحدة المعالجة المركزية ووحدة المعالجة الرسومية.

Bark by Suno هو نموذج نص إلى صوت يعتمد على المحول ويمكنه توليد حديث متعدد اللغات وواقعي للغاية، وكذلك صوت آخر مثل الموسيقى، والضوضاء الخلفية، والتأثيرات الصوتية. ويمكنه إنتاج اتصالات غير لفظية مثل الضحك، والتأنيث، والبكاء. Bark يدعم أكثر من 100 متحدث مسبق التحديد وأكثر من 13 لغة.

Bark Small هي نسخة مقطرة من نموذج Bark الذي يقوم بمبادلة بعض الجودة الصوتية بسرعة استنتاج أسرع بكثير ومتطلبات ذاكرة أقل. إنها تحتفظ بقدرة Bark على توليد الكلام مع المشاعر والضحك واللغات المتعددة.

لقد حقق برنامج CosyVoice 2 من مختبر Tongyi في علي بابا جودة صوتية مقارنة بالصوت البشري مع تأخير منخفض للغاية، مما يجعله مثالياً للتطبيقات في الوقت الحقيقي. وهو يستخدم نهجاً كمياً متدرجاً محدوداً لتوليف التدفق ويدعم استنساخ الصوت من الصفر، والتوليف عبر اللغات، والتحكم في العواطف بعناية فائقة. وهو يتفوق على العديد من أنظمة TTS التجارية في التقييمات الذاتية.

ديا من ناري لابز هو نموذج 1.6B النص إلى الكلام البارامترات المصممة خصيصا لتوليد حوار متعدد المتحدثين. يمكن أن ينتج محادثات طبيعية بين اثنين من المتحدثين مع التناوب المناسب، والصوتية، والتعبير العاطفي. ديا مثالية لإنشاء محتوى على غرار البث، وحوارات الكتب السمعية، والذكاء الاصطناعي المحادثة التفاعلية.

بارلر TTS هو نموذج النص إلى حديث يستخدم وصف الصوت باللغة الطبيعية للتحكم في الكلام المولد. بدلاً من اختيار من الأصوات المحددة مسبقاً، يمكنك وصف الصوت الذي تريده (على سبيل المثال، "صوت أنثوي دافئ مع لهجة بريطانية طفيفة، يتحدث ببطء ووضوح") وبارلر يولد الكلام الذي يطابق ذلك الوصف. وهذا يجعله مرناً بشكل فريد للتطبيقات الإبداعية.

GLM-TTS من Zhipu AI هو نظام تحويل النص إلى كلمة مبني على بنية Llama مع مطابقة التدفق، وهو يحقق أدنى معدل أخطاء الحروف بين نماذج تحويل النص إلى كلمة مفتوحة المصدر، مما يعني أنه ينتج أكثر النطق دقة.

إن نظام IndexTTS-2 هو نظام متقدم لتحويل النص إلى كلمة يتفوق في التركيب الصوتي من الصفر مع التحكم في العواطف بصورة دقيقة. ويمكنه توليد كلمة بنغمات عاطفية محددة مثل السعادة، والحزن، والغضب، والخوف دون الحاجة إلى بيانات تدريب خاصة بالعواطف. ويستخدم النموذج متجهات العواطف للتحكم بدقة في التعبير العاطفي للكلمة المولدة.

Spark TTS by SparkAudio هو نموذج لتحويل النص إلى كلام يجمع بين استنساخ الصوت مع المشاعر القابلة للتحكم وأسلوب الكلام. وباستخدام 5 ثوان فقط من الصوت المرجعي، يمكنه استنساخ صوت ثم توليد كلام بمشاعر وسرعة وأساليب مختلفة مع الحفاظ على هوية الصوت المستنسخ. Spark TTS يستخدم نظام تحكم قائم على الطلب.

يجمع GPT-SoVITS بين نمذجة اللغة على غرار GPT مع SoVITS (استنتاج الصوت الغنائي عن طريق الترجمة والتوليف) لاستنساخ صوت قوي بقليل من اللقطات. بخمس ثوانٍ فقط من الصوت المرجعي، يمكنه استنساخ صوت بدقة وتوليد حديث جديد مع الحفاظ على الخصائص الفريدة للمتحدث. وهو يتفوق في كل من توليف الصوت الكلام والغناء.

أورفيوس هو نموذج كبير لتحويل النص إلى كلام يحقق التعبير العاطفي على المستوى البشري. وهو مدرب على أكثر من 100 ألف ساعة من بيانات الكلام المتنوعة، ويتفوق في توليد الكلام مع المشاعر الطبيعية، والتأكيد، وأنماط الكلام. ويمكن لأورفيوس إنتاج الكلام الذي لا يمكن تمييزه تقريبا عن التسجيلات البشرية.

إن نموذج Chatterbox الذي طورته شركة Resemble AI هو نموذج متقدم لاستنساخ الصوت من دون تسجيل أي صوت. وهو قادر على استنساخ أي صوت من عينة صوتية واحدة بدقة مذهلة، ولا يقتصر على التقاط النغمة فحسب، بل وأيضاً أسلوب الكلام والفوارق الدقيقة العاطفية. كما يتميز Chatterbox بالتحكم في العواطف بصورة دقيقة، مما يسمح لك بتعديل النبرة العاطفية للكلمات المولدة بصورة مستقلة عن الهوية الصوتية.

إن نظام Tortoise TTS هو نظام تلقائي للتراجع متعدد الأصوات لتحويل النص إلى كلمة، ويضع جودة الصوت فوق السرعة، ويستخدم بنية مستوحاة من DALL-E لتوليد كلمة طبيعية للغاية مع جودة ممتازة في الصوت وتشابه المتحدث. ورغم أن نظام Tortoise أبطأ من العديد من البدائل، فإنه ينتج بعض أكثر الكلمات التركيبية واقعية المتاحة في النظام البيئي المفتوح المصدر.

يحقق StyleTTS 2 توليف TTS على المستوى البشري من خلال الجمع بين انتشار الأسلوب مع التدريب التنازع باستخدام نماذج كبيرة للغة الكلام. إنه يولد أكثر الكلام الطبيعي بين نماذج المتحدث الواحد، منافسة التسجيلات البشرية. StyleTTS 2 يستخدم نمذجة الأسلوب القائمة على الانتشار للحصول على النطاق الكامل من التنوع في الكلام البشري.

يسمح برنامج OpenVoice من MyShell.ai باستنساخ الصوت فورا مع التحكم الجذري في أسلوب الصوت، والعاطفة، والتشديد، والإيقاع، والتوقفات، والنبرة. ويمكنه استنساخ صوت من مقطع صوت قصير وتوليد الكلام بلغات متعددة مع الحفاظ على هوية المتكلم. ويعمل OpenVoice أيضا كمحول صوت، مما يسمح بتحويل الصوت في الوقت الحقيقي.

Qwen3-TTS هو نموذج تحويل النص إلى كلمة يحتوي على 1.7 مليار بارامترات من فريق Qwen في Alibaba. وهو يدعم ثلاثة أنماط: أصوات محددة مسبقاً مع التحكم العاطفي (9 متحدثين)، واستنساخ الصوت من 3 ثوانٍ فقط من الصوت، ونمط تصميم صوت فريد حيث يمكنك وصف الصوت الذي تريده بلغة طبيعية. وهو يغطي 10 لغات مع تعبير عالي وصوت طبيعي.

نموذج الكلام المحادثي Sesame CSM (Conversational Speech Model) هو نموذج مكون من 1 مليار بارامترات مصمم خصيصا لتوليد الكلام المحادثي. وهو يقوم بنمذجة الأنماط الطبيعية للمحادثة البشرية بما في ذلك توقيت التناوب، واستجابات القنوات الخلفية، وردود الفعل العاطفية، وتدفق المحادثة. ويولد نموذج الكلام المحادثي CSM صوتاً يبدو وكأنه محادثة بشرية طبيعية بدلاً من الكلام التركيبي.

Chatterbox Turbo by Resemble AI هو تحديث 350M البارامترات إلى Chatterbox، وتسليم حتى 6x سرعة الوقت الحقيقي مع أقل من 200ms تأخير. إنه يدعم علامات paralinguistic مثل [ضحك]، [السعال]، و [ضحك] مباشرة في النص. يشمل Perth علامة مائية على جميع السمعي المولدة لتتبع المنشأ.

1.6B نموذج بارامترات يتميز التحكم العاطفي الحبيبات الدقيقة مع المزلقات للسعادة، الغضب، الحزن، الخوف، والمفاجأة. إنه يقدم كلا من المتحول و SSM (نموذج الفضاء-الوضع) المتغيرة الجديدة. مدرب على 200K + ساعات من الكلام متعدد اللغات مع صفر-الطلقة استنساخ الصوت من 10-30 ثانية من السمع المرجعي.

Dia2 من ناري لابز هو تحديث للـ Dia، متاح في 1B و 2B، ويبدأ في تصنيع الصوت من الرموز القليلة الأولى، مما يجعله مثالياً لعملاء الصوت في الوقت الحقيقي وأنابيب الكلام إلى الكلام. يدعم الحوار المتعدد المتحدثين مع [S1]/[S2] وعلامات الإشارة اللغوية مثل (ضحك)، (سعال).

VoxCPM 1.5 من OpenBMB هو نموذج جديد لترجمة النصوص إلى صوت خال من الرمزيات يعمل في فضاء مستمر بدلاً من رموز منفصلة. وهو ينتج صوتاً عالي الدقة بتردد 44.1 كيلوهرتز، ويدعم استنساخ الصوت من 3 إلى 10 ثوان، ويحافظ على الاتساق عبر الفقرات. ويسمح لك استنساخ اللغات بتطبيق صوت إنجليزي على الكلام الصيني والعكس بالعكس.

OuteTTS توسع نماذج اللغة الكبيرة مع القدرات النص إلى الكلام مع الحفاظ على البنية الأصلية. إنه يدعم العديد من الخلفيات بما في ذلك llama.cpp (CPU / GPU)، وتحويلات الوجه الحب، ExLlamaV2، VLLM، وحتى الاستدلال المتصفح عن طريق Transformers.js. مميزات استنساخ الصوت صفر-الطلقة من خلال ملف المتحدثين المخزنة كJSON.

TADA (التطابق المزدوج النصي الصوتي) من هيوم AI هو نموذج رائد لترجمة النصوص إلى صوت يقضي على الهلوسات من خلال بنية جديدة للمواءمة المزدوجة مبنية على LLAMA 3.2. متوفرة في 1B (الإنجليزية) و 3B (اللغات المتعددة) المتغيرات، TADA يحقق RTF من 0.09 - 5 مرات أسرع من نماذج الترجمة إلى صوت LLM المقارنة. يدعم حتى 700 ثانية من السياق الصوتي وينتج كلمة تعبيرية عاطفيا مع صفر من الهلوسات على المعايير القياسية.

ويأتي VibeVoice من Microsoft في صيغة 1.5B للمحتوى الطويل (حتى 90 دقيقة، 4 متحدثين) ونموذج Realtime 0.5B للتدفق مع ~ 200ms التأخير السمعي الأول. 1.5B المتغير يتفوق في البودكاست والكتب السمعية مع الاتساق المتحدث على مقاطع طويلة. ملاحظة: Microsoft أزالت TTS رمز من المستودع والصوت المولد يشمل الذكاء الاصطناعي المسموع إخلاء المسؤولية.

إن نموذج تحويل النص إلى صوت جيب من إنتاج كيوتاي (مطورو موشي) هو نموذج مكون من 100 مليون بارامتر للنص إلى صوت، وهو نموذج مكتمل الحجم، ويعمل بكفاءة على وحدة المعالجة المركزية، ويدعم استنساخ الصوت من عينة صوتية واحدة، وينتج صوتاً طبيعياً. ويجعل حجم النموذج الصغير منه نموذجاً مثالياً لنشره على الحافة والبيئات ذات الموارد المنخفضة.

Kitten TTS by KittenML هو نموذج خفيف للغاية لتحويل النص إلى كلمة مبني على ONNX. مع أشكال من 15M إلى 80M بارامترات (25-80 MB على القرص)، وهو يوفر تركيب صوت عالي الجودة على وحدة المعالجة المركزية دون الحاجة إلى وحدة معالجة رسومية. يتميز بثمانية أصوات داخلية، وسرعة الكلام القابلة للتعديل، ومعالجة مسبقة للنصوص داخلية للأرقام والعملات والوحدات. مثالي لنشر الحافة وتطبيقات منخفضة التأخير.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.