AI Text to Speech

Kokoro 82 milyon parametrli mətndən-sözə modeldir və öz ağırlıq sinfindən çox üstündür. Kiçik ölçüsünə baxmayaraq, o, çox təbii və ifadəli bir səs istehsal edir. Kokoro ingilis, yapon, çin və koreyalı dilləri də daxil olmaqla bir çox dilləri dəstəkləyir və müxtəlif ifadəli səslər istehsal edir. O, inanılmaz sürətlə işləyir - GPU-da real vaxtda səsi 100x sürətlə istehsal edir.

Piper Rhasspy tərəfindən inkişaf etdirilmiş VITS və larynx arxitekturalarını istifadə edən yüngül mətn-söhbətə motordur. CPU-da işləyir, bu da onu edge cihazları, ev avtomatlaşdırması və offlayn TTS tələb edən proqramlar üçün ideal edir. 30-dan çox dildə 100 səslə Piper Raspberry Pi 4-də belə real vaxt sürətində təbii səsli sözlər təqdim edir.

VITS (variasiyalı nəticə ilə qarşılıqlı öyrənmə üçün son-son Text-to-Speech) hazırkı iki mərhələli modellərdən daha təbii səslənən səsi yaradan paralel son-son TTS metodudur. Normallaşdırma axınları ilə artırılmış variasiyalı nəticəni və qarşılıqlı öyrənmə prosesini qəbul edir, təbiiliyi əhəmiyyətli dərəcədə yaxşılaşdırır.

MyShell.ai tərəfindən yaradılan MeloTTS İngilis (Amerika, İngiltərə, Hindistan, Avstraliya), İspan, Fransız, Çin, Yapon və Koreya dillərini dəstəkləyən çoxdilli TTS kitabxanasıdır. Bu kitabxana çox sürətlidir, yalnız CPU-da mətni real vaxt sürəti ilə işləyir. MeloTTS istehsal üçün hazırlanmışdır və CPU və GPU-nun nəticələrini dəstəkləyir.

Suno tərəfindən hazırlanmış Bark, çox dildə çox real səs və musiqi, arxa fon səsləri və səs effektləri kimi digər səsləri yarada bilən transformator əsaslı mətn-səs modelidir. Gülüş, inilti və ağlama kimi sözsüz ünsiyyəti yarada bilir. Bark 100-dən çox səsləndiricinin əvvəlcədən qurğularını və 13-dən çox dili dəstəkləyir.

Bark Small Bark modelinin daha sürətli nəticələmə sürəti və daha az yaddaş tələbləri üçün bəzi səs keyfiyyətini dəyişən distillasiya edilmiş versiyasıdır. Bark'ın emosional, gülüş və çoxlu dillərlə danışmaq qabiliyyətini saxlayır.

Alibaba'nın Tongyi Lab tərəfindən hazırlanan CosyVoice 2 insan səsi ilə müqayisəli səs keyfiyyətinə malikdir və çox aşağı gecikmə ilə real vaxt tətbiqləri üçün idealdır. O, axın sintezinə sonlu skalar kvantlaşdırma yanaşmasını istifadə edir və zero-shot səs klonlaşdırmasını, dillərarası sintezini və incə hisslər nəzarətini dəstəkləyir. O, subyektiv qiymətləndirmələrdə bir çox kommersiya TTS sistemlərini üstələyir.

Dia Nari Labs tərəfindən hazırlanmış 1.6B parametrli mətn-söhbətə modeldir. Bu model xüsusi olaraq çoxlu-söhbətçili dialoq yaratmaq üçün hazırlanmışdır. Dia iki danışan arasında uyğun dönüş, prosodiya və emosional ifadə ilə təbii səsli söhbətlər yarada bilər. Dia podcast-style məzmun, audiobook dialoqları və interaktiv danışıq AI yaratmaq üçün mükəmməldir.

Parler TTS, yaradılan danışığı idarə etmək üçün təbii dil səs təsvirini istifadə edən mətndən-sözə modeldir. Ön qurulmuş səslərdən seçmək əvəzinə, istədiyiniz səsi təsvir edə bilərsiniz (məsələn, "yavaş və aydın danışan, kiçik Britaniya aksenti olan qız səsi") və Parler bu təsviri uyğunlaşdıraraq danışığı yaradır. Bu onu yaradıcı proqramlar üçün unikal elastik edir.

Zhipu AI tərəfindən hazırlanmış GLM-TTS, Llama mimarisinə əsaslanan və axın uyğunlaşdırması ilə işləyən mətn-söhbətə çevirmə sistemidir. Bu sistem açıq mənbəli TTS modelləri arasında ən aşağı xarakter səhv dərəcəsinə nail olur, bu da ən dəqiq səslənməni təmin edir. GLM-TTS 3-10 saniyəlik səs nümunələrindən səs klonlaşdırması ilə İngilis və Çin dillərini dəstəkləyir.

IndexTTS-2, zəif səs sintezində və emosional nəzarətdə üstün olan inkişaf etmiş mətn-söhbət sistemidir. O, emosional təlim məlumatları tələb etmədən xoşbəxt, kədərli, qəzəbli və qorxu kimi xüsusi emosional tonlarla danışa bilər. Model, yaradılan danışığın emosional ifadəsini dəqiq idarə etmək üçün emosional vektorlardan istifadə edir.

Spark TTS SparkAudio tərəfindən səs klonlaşdırmasını idarəolunan hiss və danışıq üslubu ilə birləşdirən mətn-söhbət modelidir. Yalnız 5 saniyəlik istinad səsi istifadə edərək səsi klonlaşdıra bilər və sonra klonlaşdırılmış səs kimliyini qoruyaraq fərqli hisslər, sürətlər və üslublarla danışıq yarada bilər. Spark TTS prompt əsaslı idarəetmə sistemini istifadə edir.

GPT-SoVITS GPT-style dil modelləşdirmə ilə SoVITS (Singing Voice Inference via Translation and Synthesis)-i güclü az-şot səs klonlaşdırması üçün birləşdirir. 5 saniyəlik istinad səsi ilə səsi dəqiq klonlaşdıra və yeni səsi yaratmaqla danışanın unikal xüsusiyyətlərini qoruya bilir. Həm danışıq həm də səs sintezini yaxşı edir.

Orpheus insan səviyyəli emosional ifadəyə nail olan böyük ölçülü mətn-söhbətə modeldir. 100,000 saatdan çox müxtəlif səs məlumatları üzərində təlim edilmişdir, təbii emosiyalar, vurğulamalar və danışıq üslubları ilə danışıq yaratmaqda üstündür. Orpheus insan səs yazılarından virtual olaraq ayırd edilə bilməyən danışıq istehsal edə bilər.

Chatterbox by Resemble AI son dərəcə müasir səs klonlama modelidir. Bu tək səs nümunəsindən hər hansı səsi çox dəqiqliklə təkrarlaya bilər, təkcə səs tonunu deyil, həm də danışıq üslubunu və emosional nüansları da əldə edə bilər. Chatterbox həmçinin səs kimliyindən asılı olmayaraq yaradılan danışığın emosional tonunu tənzimləmənizə imkan verən incə hisslər idarəsini də təklif edir.

Tortoise TTS, audio keyfiyyətini sürətdən üstün tutan çox səsli mətn-söhbətə çevirmə sistemidir. DALL-E-dən ilhamlanan mimarisini istifadə edərək, parlaq prozodiya və səsləndirici oxşarlığı ilə çox təbii səsi yaradır. Bir çox alternativlərdən daha yavaş olsa da, Tortoise açıq mənbə ekosistemində mövcud olan ən real sintez edilmiş səsi yaradır.

StyleTTS 2, böyük səs dil modelləri ilə rəqabətçi təlimləri birləşdirərək insan səviyyəli TTS sintezini əldə edir. İnsan səs qeydləri ilə rəqabət aparan tək-oxuma modelləri arasında ən təbii səslənən səsi yaradır. StyleTTS 2, insan səs dəyişikliyinin bütün diapazonunu tutmaq üçün diffuziya əsaslı üslub modelləşdirməsini istifadə edir.

MyShell.ai tərəfindən yaradılan OpenVoice səs üslubu, emosiyası, aksenti, ritmi, fasilə və intonasiyası üzərində nəzarəti ilə səsin dərhal klonlanmasına imkan verir. O, qısa audio klipdən səsi klonlaya və danışan şəxsiyyətini qoruyaraq bir çox dildə danışığı yarada bilər. OpenVoice real vaxt səs dəyişdirmə imkan verən səs çevirici kimi də işləyir.

Qwen3-TTS Alibaba'nın Qwen komandasından olan 1.7 milyard parametrli mətndən-sözə modeldir. Üç rejimi dəstəkləyir: emosional nəzarətlə əvvəlcədən qurulmuş səslər (9 səsləndirici), yalnız 3 saniyədən səs klonlaşdırması və istədiyiniz səsi təbii dildə təsvir etdiyiniz unikal səs dizaynı rejimi. Yüksək ifadəliliyi və təbii prozodiya ilə 10 dili əhatə edir.

Sesame CSM (Conversational Speech Model) 1 milyard parametrdən ibarət olan və söhbət yaratmaq üçün xüsusi olaraq hazırlanmış modeldir. Bu model insan söhbətinin təbiət nümunələrini modelləşdirir. Bu nümunələr arasında dönmə vaxtı, backchannel cavabları, emosional reaksiyalar və söhbət axını da var. CSM sintetik söhbət deyil, təbiət söhbəti kimi səslənən səsi yaradır.

Resemble AI tərəfindən hazırlanmış Chatterbox Turbo, Chatterbox-un 350M parametrli yenilənməsidir. 200ms-dən aşağı gecikmə ilə 6x real vaxt sürətinə qədər dəstək verir. [laugh], [cough] və [chuckle] kimi paralingvistik mətn etiketlərini dəstəkləyir. Provayder izləmə üçün bütün yaradılan səslər üzərində Perth su nişanını ehtiva edir.

Zyphra tərəfindən yaradılan Zonos v0.1, xoşbəxtlik, qəzəb, kədər, qorxu və təəccüb üçün sürüşkənlərlə təchiz edilmiş 1.6B parametrli emosional nəzarət modelidir. Bu model həm bir transformator, həm də yeni SSM (status-space model) variantını təklif edir. 10-30 saniyəlik istinad səsindən səs klonlaşdırması ilə 200K+ saat çoxdilli danışıq üzərində təlim edilmişdir.

Nari Labs tərəfindən Dia2 Dia-nın 1B və 2B parametr variantlarında mövcud olan axın-əvvəlki yenilənməsidir. İlk bir neçə tokendən səsi sintez etməyə başlayır, real vaxt səs agentləri və söz-söhbət boru kəmərləri üçün ideal edir. [S1]/[S2] etiketləri və (gülür), (kökləyir) kimi paralingvistik işarələrlə çoxlu-söhbətçi dialoqu dəstəkləyir.

VoxCPM 1.5 OpenBMB tərəfindən hazırlanmış, diskret tokenlərdən daha çox davamlı məkanda işləyən yeni tokenizatorsuz TTS modelidir. O, yüksək keyfiyyətli 44.1kHz səs istehsal edir, 3-10 saniyədən zero-shot səs klonlaşdırmasını dəstəkləyir və abzaslar arasında tutarlılığı qoruyur. Dilli klonlaşdırma sizə ingilis səsini Çin dilindəki səsə və əksinə tətbiq etməyə imkan verir.

OuteTTS orijinal quruluşunu qoruyaraq mətn-söhbətə imkanları ilə böyük dil modellərini genişləndirir. llama.cpp (CPU/GPU), Hugging Face Transformers, ExLlamaV2, VLLM və hətta Transformers.js vasitəsilə brauzer inference daxil olmaqla bir çox arxa tərəfi dəstəkləyir. JSON olaraq qeyd edilmiş səsvermə profilləri vasitəsilə zero-shot səs klonlaşdırmasını dəstəkləyir.

Hume AI tərəfindən hazırlanmış TADA (Text-Acoustic Dual Alignment) Llama 3.2 üzərində qurulan yeni bir ikili düzəliş arxitekturası vasitəsilə hallucinasyonları aradan qaldıran yenilikçi TTS modelidir. 1B (ingiliscə) və 3B (çoxdilli) variantlarında mövcud olan TADA, RTF-də 0.09 - 5x LLM-ə əsaslanan TTS modellərindən daha sürətlidir. 700 saniyəyə qədər audio konteksti dəstəkləyir və standart benchmarklarda heç bir hallucinasyon olmadan emosional olaraq ifadəli bir danışıq yaradır.

Microsoft VibeVoice iki variantda gəlir: uzun formatlı məzmun üçün 1.5B modeli (90 dəqiqəyə qədər, 4 səsləndirici) və ~200ms ilk səsləndirici gecikməsi ilə axın üçün Rəsmi 0.5B modeli. 1.5B variantı uzun keçidlərdə səsləndirici konzistensiyası ilə podcast və audiokitablarda üstünlük təşkil edir. Xatırlatma: Microsoft TTS kodunu repozitoriyadan çıxardıb və yaradılan səs səsləndirici AI-nin səsləndirilən cavabdehliyini də ehtiva edir.

Kyutai tərəfindən (Moshi-nin yaradıcıları) hazırlanmış Pocket TTS, 100M parametrli kompakt mətn-söhbətə çevirmə modelidir. CPU-da səmərəli işləyir, tək səs nümunəsindən səs klonlaşdırmasını dəstəkləyir və təbii səsli söhbət yaradır. Kiçik model ölçüsü onu edge işə salınması və az resurslu mühitə ideal edir.

Kitten TTS by KittenML ONNX üzərində qurulan ultra-yüngül mətn-söhbətə çevirmə modelidir. 15M-dən 80M parametrə qədər variantları ilə (25-80 MB diskdə), CPU-da GPU tələb etmədən yüksək keyfiyyətli səs sintezini təmin edir. 8 daxili səs, düzəldilə bilən danışıq sürəti və rəqəmlər, pul vahidləri və vahidlər üçün daxili mətn əvvəldən işləməsi xüsusiyyətlərinə malikdir. Ən son işə salma və aşağı gecikmə tətbiqləri üçün idealdır.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.