AI tekstas į kalbą

Kokoro yra 82 milijonų parametrų teksto-į-speech modelis, kuris perforuoja gerokai virš savo svorio klasės. Nepaisant jo mažyčių dydis, jis gamina nepaprastai natūralus ir išraiškingas kalba. Kokoro palaiko kelias kalbas, įskaitant anglų, japonų, kinų ir korėjiečių išraiškingų balsų įvairovė. Jis veikia neįtikėtinai greitai – generuoti garso beveik 100x greičiau nei realiu laiku GPU.

Piper yra lengvas tekstas-į-speech variklis, sukurtas Rhasspy, kuris naudoja VITS ir gerklx architektūrų. Jis veikia visiškai CPU, todėl idealiai tinka kraštutinių įrenginių, namų automatizavimo, ir taikomosios programos reikalauja belaidis TTS. Su daugiau nei 100 balsų 30+ kalbomis, Piper pristato natūralų garsą kalba realiu laiku net Aviečių Pi 4.

VITS (Variational Inclusion with conversarial learning for end-to-end Text-to-Speech) yra lygiagretus „nuo galo iki galo“ TTS metodas, kuris generuoja daugiau natūralių garso skambesių nei dabartiniai dviejų pakopų modeliai. Jis priima įvairų interferenciją, sustiprintą normalizuojant srautus ir atliekant priešpriešinio mokymo procesą, užtikrinantį reikšmingą natūralios aplinkos pagerėjimą.

MeloTTS by MyShell.ai yra daugiakalbė TTS biblioteka, remianti anglų (American, British, Indian, Australia), ispanų, prancūzų, kinų, japonų, ir korėjiečių. Tai yra labai greitai, apdoroti tekstą beveik realiu laiku vien procesoriaus. MeloTTS yra skirtas gamybos naudojimui ir palaiko tiek procesoriaus ir GPU inferencija.

Bark by Suno yra transformatorius grindžiamas tekstas-į-audio modelis, kuris gali generuoti labai realų, daugiakalbę kalbą, taip pat kitų garso kaip muzika, fono triukšmas, ir garso efektai. Jis gali gaminti neverbalinius ryšius, pavyzdžiui, juoktis, dygčioti, ir verkti. Barkas palaiko daugiau nei 100 garsiakalbis iš anksto nustatyti ir 13+ kalbų.

Bark Small yra distiliuota versija Bark modelis, kuris prekiauja tam tikra garso kokybė žymiai greičiau trukdžių greičio ir mažesnius atminties reikalavimus. Jis išlaiko Bark gebėjimą generuoti kalbą su emocijomis, juokas, ir keliomis kalbomis.

"CosyVoice 2" iš Alibaba's Tongyi Lab pasiekia žmogaus palyginamą kalbos kokybę su labai žemu latentiškumu, todėl idealiai tinka realiu laiku taikomosioms programoms. Ji naudoja baigtinį skalūninio kvantifikavimo metodą srautinei sintezei ir palaiko nulinės fotografijos balso klonavimą, tarpkalbinę sintezę ir ploną emocijų kontrolę. Ji viršija daug komercinių TTS sistemų subjektyvius vertinimus.

Dia by Nari Labs yra 1.6B parametro teksto į garsiakalbį modelis, sukurtas specialiai generuoti daugiakalbį dialogą. Jis gali sukurti natūralius pokalbius tarp dviejų garsiakalbių su atitinkamu posūkio, prozodija, ir emocinė išraiška. Dia puikiai tinka sukurti podcast stiliaus turinį, garso knygų dialogus ir interaktyvų pokalbio AI.

Parler TTS yra tekstas-į-speech modelis, kuris naudoja natūralios kalbos balso aprašymus, kad būtų galima kontroliuoti sukurtą kalbą. Vietoj to, kad pasirinktumėte iš anksto nustatytų balsų, Jūs apibūdinate norimą balsą (pvz., "šiltas moteriškas balsas su nedideliu britų akcentu, kalbant lėtai ir aiškiai"), ir Parler generuoja kalbą, atitinkančią šį apibūdinimą. Dėl to jis yra unikaliai lankstus kūrybiniams pritaikymams.

GLM-TTS by Zhipu AI yra teksto-į-speech sistema, pastatyta ant Llama architektūra su srauto derinimu. Ji pasiekia žemiausią simbolių klaidų dažnis tarp atvirojo šaltinio TTS modelių, tai reiškia, ji gamina tiksliausias tarimo. GLM-TTS palaiko anglų ir kinų su balso klonavimo iš 3-10 sekundžių garso mėginių.

IndexTTS-2 yra pažangi teksto-į-speech sistema, kuri pranoksta nulinės akimirkos balso sintezės metu su plonu emocijų reguliavimu. Ji gali generuoti kalbą su konkrečiais emociniais tonais, pavyzdžiui, laiminga, liūdna, pikta, ar baimės nereikalaujant emocijų specifinių mokymo duomenų. Modelyje naudojami emocijų vektoriai tiksliai kontroliuoti emocinę išraišką generuojamos kalbos.

SparkAudio "SparkAudio" "Spark-to-speech" modelis, kuris sujungia balso klonavimą su reguliuojamu emocijų ir kalbėjimo stiliumi. Naudodamas tik 5 sekundžių referencinį garsą, jis gali klonuoti balsą ir generuoti kalbą su skirtingomis emocijomis, greičiais ir stiliais, tuo pat metu išlaikydamas klonuotą balso tapatybę. "Spark TTS" naudoja greitojo valdymo sistemą.

GPT-SoVITS kombinuoja GPT stiliaus kalbos modeliavimą su SoVITS (Singing Voice Induction by Translation and Sinteze) galingam vos 5 sekundių referencinio garso klonavimui. Ji gali tiksliai klonuoti balsą ir generuoti naują kalbą, išsaugant kalbėtojo unikalias savybes. Ji pranoksta tiek kalbėjimo, tiek dainavimo balso sinteze.

Orpheus yra didelio masto tekstas-į-speech modelis, kuris pasiekia žmogiškojo lygio emocinę išraišką. Apmokytas daugiau nei 100,000 valandų įvairių kalbos duomenų, jis pranoksta generuoti kalbą su natūraliomis emocijomis, akcentas, ir kalbėjimo stilius. Orpheus gali sukelti kalbą, kuri yra iš esmės neatskiriama nuo žmogaus įrašų.

Pokalbio dėžutė, kurią sudaro „Remble AI“, yra moderniausias nulinis balso klonavimo modelis. Ji gali atkartoti bet kokį balsą iš vieno garso mėginio su nepaprastu tikslumu, fiksuodama ne tik tembrą, bet ir kalbėjimo stilių bei emocinius niuansus. Pokalbis taip pat turi smulkiai grubų emocijų valdymą, leidžiantį reguliuoti sukurtos kalbos emocinį toną nepriklausomai nuo balso tapatybės.

Tortoise TTS yra autoregesyvi daugiabalsė teksto į garsą sistema, kuri pirmenybę teikia garso kokybei per greitį. Ji naudoja DALL-E-įkvėptą architektūrą, kad generuoti labai natūralų kalbą su puikiu prozodija ir garsiakalbio panašumu. Nors lėčiau nei daugelis alternatyvų, Tortoise sukuria kai kurie iš realistiškų sintetinių kalbos atvirojo šaltinio ekosistemoje.

StyleTTS 2 pasiekia žmogaus lygio TTS sintezę, sujungiant stilių difuzijos ir antiversarialinius mokymus naudojant didžiosios kalbos kalbos modelius. Ji generuoja natūraliausias skambesį tarp vieno garsiakalbio modelių, konkuruojanti žmogaus įrašus. StyleTTS 2 naudoja difuzijos pagrindu stiliaus modeliavimą, kad užfiksuotų visą žmogaus kalbos variantų spektrą.

MyShell.ai leidžia akimirkinį balso klonavimą su granuliuotu balso stiliaus, emocijų, akcento, ritmo, pauzės ir intonacijos valdymu. Jis gali klonuoti balsą iš trumpo garso klipo ir generuoti kalbą keliomis kalbomis, tuo pat metu išlaikydamas garsiakalbio tapatybę. OpenVoice taip pat veikia kaip balso keitiklis, leidžiantis realiu laiku transformuoti balsą.

Qwen3-TTS yra 1,7 milijardo parametro tekstas į garsiakalbį iš Alibaba Qwen komandos. Ji palaiko tris režimus: iš anksto su emocijų kontrole (9 garsiakalbiai), balso klonavimu nuo vos 3 sekundžių garso ir unikaliu balso dizaino režimu, kuriame Jūs apibūdinate norimą balsą natūralia kalba. Ji apima 10 kalbų su dideliu išraiškingumu ir natūralia prozodija.

Sezamo CSM (konversijos kalbos modelis) yra 1 mlrd. parametrų modelis, sukurtas specialiai generuoti pokalbinę kalbą. Jis modeliuoja natūralius žmogaus pokalbio modelius, įskaitant posūkio laiką, nugaros kanalų atsaką, emocines reakcijas ir pokalbio srautą. CSM generuoja garsą, kuris skamba kaip natūralus žmogaus pokalbis, o ne sintetinis pokalbis.

Chatterbox Turbo by Resemble AI yra 350M parametro atnaujinimas į Chatterbox, užtikrinantis iki 6x realaus laiko greitį su sub-200ms latency. Ji palaiko paralingustic žymės, pavyzdžiui [juoka], [sukti] ir [chuckle] tiesiogiai į tekstą. Įtraukia Perth vandens žymėjimas visų sugeneruotų garso provenencijos sekimo.

Zonos v0.1 pagal Zyphra yra 1.6B parametro modelis, apimantis ploną emocijų kontrolę su slankmačiais laimės, pykčio, liūdesio, baimės ir nuostabos. Jis siūlo ir Transformer, ir romaninį BPM (state-space Model) variantą. Mokytas 200K+ valandų daugiakalbės kalbos su nulinio smogtuvo balso klonavimo nuo 10-30 sekundžių referencinio garso.

Dia2 by Nari Labs yra srautinis pirmasis Dia atnaujinimas, prieinamas 1B ir 2B parametrų variantuose. Jis pradeda sintezuoti garsą iš pirmųjų kelių žetonų, todėl idealiai tinka realaus laiko balso agentams ir kalbėjimo kanalams. Palaiko daugiakalbio dialogo su [S1]/[S2] žymomis ir paralingvistiniais kučiais, panašiais į [smegs].

OpenBMB VoxCPM 1.5 yra naujas be tokenizatoriaus TTS modelis, kuris veikia ištisinėje erdvėje, o ne diskrečiuosiuose žetonuose. Jis gamina aukštos kokybės 44.1kHz garsą, palaiko nulinės fotografijos balso klonavimą nuo 3-10 sekundžių ir palaiko nuoseklumą visuose punktuose. Kryžminės kalbos klonavimas leidžia taikyti anglų kalbą kinų kalbai ir atvirkščiai.

OuteTTS palaiko didelius kalbų modelius su teksto-įspėjimu išlaikant originalią architektūrą. Ji palaiko kelias programines sąsajas, įskaitant llama.cpp (CPU/GPU), Hagging Face Transformers, ExLlamaV2, VLLM, ir net naršyklę, trukdančią per Transformers.js. Funkcijos nulinės fotografijos balso klonavimas per garsiakalbio profilius, išsaugotus kaip JSON.

„Hume AI“ TADA (teksto-akustikos dvigubas lygiavimas) yra novatoriškas TTS modelis, kuris pašalina haliucinacijas per naują dvejopo derinimo architektūrą, sukurtą „Llama 3.2“. Pasinaudojus 1B (anglų) ir 3B (daugiakalbių) variantais, „TADA“ pasiekia RTF nuo 0,09 iki 5 kartų greitesnį už palyginamus LLM paremtus TTS modelius. Jis palaiko iki 700 sekundžių garso kontekstą ir sukelia emociškai išraiškingą kalbą su nulinėmis haliucinacijomis standartiniuose standartuose.

VibeVoice by Microsoft yra dviejų variantų: 1.5B modelis ilgaformis turinys (iki 90 minučių, 4 garsiakalbiai) ir Realtime 0.5B modelis srautui su ~200ms pirmasis garso latency. 1.5B variantas pranoksta podcasts ir garso knygų su garsiakalbio konsistencija per ilgas ištraukas. Pastaba: Microsoft pašalintas TTS kodas iš saugyklos ir generuojami garso apima garsinės AI disclaiders.

Pocket TTS by Kyutai (Moshi kūrėjai) yra kompaktiškas 100M parametro teksto-į-speech modelis, kuris perforuoja daug daugiau nei jo svoris. Jis veikia efektyviai naudojant CPU, palaiko nulinio smogtuvo balso klonavimą iš vieno garso mėginio ir gamina natūralų garsą. Dėl mažo modelio dydžio jis yra idealus briaunos ir mažo šaltinio aplinkai.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.