AI teksts uz runu

Kokoro ir 82 miljoni parametru tekstu-to-speech modelis, kas perforē krietni virs tā svara klases. Neskatoties uz tā sīko izmēru, tas rada ārkārtīgi dabas un izteiksmīgu runu. Kokoro atbalsta vairākas valodas, tostarp angļu, japāņu, ķīniešu un korejiešu ar dažādu izteiksmīgu balsi. Tas darbojas neticami ātri — radot audio gandrīz 100x ātrāk nekā reālā laikā GPU.

Piper ir viegla teksta-to-speech motors, kas izstrādāts Rhasspy kas izmanto VITS un balsenes arhitektūras. Tas darbojas pilnīgi uz CPU, padarot to ideāli piemērots malas ierīcēm, mājas automatizācijas, un lietojumprogrammas, kas prasa bezsaistes TTS. Ar vairāk nekā 100 balsis 30+ valodās, Piper piedāvā dabas skaņas runu reāllaikā pat uz Aveņu Pi 4.

VITS (Variational Induction with conversarial learning for end-to-end Text-to-Speech) ir paralēla visdažādākā TTS metode, kas rada vairāk dabas skaņas nekā pašreizējie divpakāpju modeļi. Tā pieņem dažādus secinājumus, kas papildināti ar normalizēšanu plūsmas un sacīkstes apmācību procesu, panākot ievērojamu dabas uzlabojumu.

MeloTTS by MyShell.ai ir daudzvalodu TTS bibliotēka, kas atbalsta angļu (Amerikāņu, Britu, Indijas, Austrālijas), spāņu, franču, ķīniešu, japāņu, un korejiešu. Tas ir ļoti ātri, apstrādājot tekstu gandrīz reālā laikā ātrumu CPU vien. MeloTTS ir paredzēta ražošanas izmantošanu un atbalsta gan CPU un GPU inference.

Bark by Suno ir transformatoru balstīta teksta-to-audio modelis, kas var radīt ļoti reālistisku, daudzvalodu runu, kā arī citas audio, piemēram, mūzika, fona troksnis, un skaņas efekti. Tas var ražot nonverbal komunikāciju, piemēram, smieties, dusmīgs, un raudāt. Barks atbalsta vairāk nekā 100 skaļrunis presets un 13+ valodas.

Bark Small ir destilēta versija no Bark modeļa, kas tirgo dažas audio kvalitāti ievērojami ātrāka inferences ātrumu un zemākas atmiņas prasības. Tas saglabā Bark spēju radīt runu ar emocijām, smiekliem un vairākām valodām.

Mājīgs Voice 2 — Alibaba's Tongyi Lab — sasniedz cilvēka pielīdzināmu runas kvalitāti ar ļoti zemu latenci, padarot to ideāli piemērotu reālā laika lietojumiem. Tā izmanto galēju zvīņveida kvantitatīvās noteikšanas pieeju straumēšanai un atbalsta nulles staru balss klonēšanu, multilingvālu sintēzi un smalku emociju kontroli. Tā pārsniedz daudzas komerciālas TTS sistēmas subjektīvos novērtējumos.

Dia by Nari Labs ir 1.6B parametrs teksta-to-speech modelis, kas īpaši paredzēts daudzsarunātāju dialoga radīšanai. Tas var radīt dabiskas sarunas starp diviem runātājiem ar atbilstošu pagrieziena, prozodi un emocionālo izteiksmi. Dia ir ideāli piemērots podcast stila satura, audiogrāmatu dialogu un interaktīvu sarunu AI radīšanai.

Parler TTS ir teksta-to-speech modelis, kas izmanto dabas valodas balss aprakstus, lai kontrolētu ģenerēto runu. Tā vietā, lai izvēlētos no iepriekš iestatītām balsīm, jūs aprakstāt, kādu balsi vēlaties (piemēram, "silta sieviešu balss ar nelielu britu akcentu, runājot lēni un skaidri"), un Parler ģenerē runas, kas atbilst šim aprakstam. Tas padara to unikāli elastīgu radošajiem lietojumiem.

GLM-TTS by Zhipu AI ir teksta-to-speech sistēma, kas veidota uz Llama arhitektūras ar plūsmu saskaņošanas. Tā sasniedz zemāko rakstzīmju kļūdu līmeni starp atvērtā avota TTS modeļiem, kas nozīmē, ka tā ražo visprecīzāko izrunu. GLM-TTS atbalsta angļu un ķīniešu valodu ar balss klonēšanu no 3-10 sekundēm audio paraugiem.

IndexTTS-2 ir uzlabota tekstu-to-speech sistēma, kas exceling pie nulles-shot balss sintēzi ar smalki graudainu emociju kontroli. Tā var radīt runu ar konkrētiem emocionāliem toņiem, piemēram, laimīgu, skumju, dusmīgu vai baiļu, nepieprasot emocionālus mācību datus. Modelis izmanto emociju vektorus, lai precīzi kontrolētu emocionālo izteiksmi ģenerētās runas.

SparkAudio Spark TTS ir teksta-to-speech modelis, kas apvieno balss klonēšanu ar kontrolējamu emociju un runas stilu. Izmantojot tikai 5 sekundes atsauces audio, tas var klonēt balsi un pēc tam radīt runu ar dažādām emocijām, ātrumu un stilu, vienlaikus saglabājot klonēto balss identitāti. Spark TTS izmanto ātru vadības sistēmu.

GPT-SoVITS apvieno GPT stila valodas modelēšanu ar SoVITS (Singing Voice Induction through Translation and Sinthesis) jaudīgai mazshot balss klonēšanai. Ar 5 sekunžu atsauces audio, tas var precīzi klonēt balsi un radīt jaunu runu, vienlaikus saglabājot runātāja unikālās īpašības. Tas ir izcils gan runājot, gan dziedot balss sintēzi.

Orpheus ir plaša mēroga tekstu-to-speech modelis, kas sasniedz cilvēka līmeņa emocionālo izteiksmi. Pārmācīts vairāk nekā 100,000 stundas dažādu runas datu, tas ir izcils, radot runu ar dabīgām emocijām, uzsvaru un runas stilu. Orpheus var radīt runu, kas ir praktiski neatšķirami no cilvēka ierakstu.

Šautkaste ar Resemble AI ir modernākais nulles-shot balss klonēšanas modelis. Tā var atdarināt jebkuru balsi no viena audio parauga ar ievērojamu precizitāti, fiksējot ne tikai timbre, bet arī runas stilu un emocionālās nianses. Šautkastē ir arī smalki graudaina emociju kontrole, kas ļauj pielāgot ģenerētās runas emocionālo toni neatkarīgi no balss identitātes.

Tortoise TTS ir autoregulējoša daudzbalsu sistēma, kas nosaka skaņas kvalitāti virs ātruma. Tā izmanto DALL-E-iedvesmo arhitektūru, lai radītu ļoti dabīgu runu ar lielisku prozodi un skaļruņu līdzību. Lai gan lēnāka nekā daudzas alternatīvas, Tortoise rada dažas no reālākajām sintētiskajām runām, kas pieejamas atvērtā avota ekosistēmā.

StyleTTS 2 nodrošina cilvēka līmeņa TTS sintēzi, apvienojot stila difūziju ar sacīkstēm, izmantojot lielus runas valodas modeļus. Tas rada visdabiskāko skaņu runa starp viensarunātāja modeļiem, konkurējot ar cilvēka ierakstiem. StyleTTS 2 izmanto difūzijas stila modelēšanu, lai attēlotu pilnu cilvēka runas variāciju.

OpenVoice by MyShell.ai ļauj uzreiz veikt balss klonēšanu ar granulu kontroli pār balss stilu, emocijām, akcentu, ritmu, pauzes un intonāciju. Tā var klonēt balsi no īsa audio klipa un radīt runu vairākās valodās, vienlaikus saglabājot skaļruni. OpenVoice arī darbojas kā balss pārveidotājs, kas ļauj reāllaikā pārveidot balsi.

Qwen3-TTS ir 1,7 miljardi parametru teksta-no-speech modeļa no Alibaba Qwen komandas. Tas atbalsta trīs režīmus: iepriekš iestatītas balsis ar emociju kontroli (9 skaļruņi), balss klonēšana no tikai 3 sekundēm audio un unikāls balss dizaina režīms, kurā Jūs raksturojat balss, kuru vēlaties dabīgā valodā. Tas aptver 10 valodas ar augstu izteiksmību un dabisku prozodiju.

Sezama CSM (Sarunu CSM) ir 1 miljarda parametru modelis, kas īpaši paredzēts saruna runas ģenerēšanai. Tas modelē cilvēka saruna dabiskos modeļus, tostarp apgriezienu laiku, muguras kanāla atbildes, emocionālās reakcijas un saruna plūsmu. CSM rada audio, kas izklausās pēc dabiskas cilvēka saruna, nevis sintētiskas runas.

Čatterbox Turbo by Resemble AI ir 350M parametru jauninājums uz čatterbox, kas nodrošina līdz pat 6x reālā laika ātrumu ar sub-200m latentumu. Tas atbalsta paralingustiskos tagus, piemēram, [smejas], [smejas] un [čuksts] tieši tekstā. Ietver Perth ūdensmarķēšanu uz visiem ģenerēto audio izcelsmes izsekošanas.

Zonos v0.1 by Zyphra ir 1.6B parametra modelis, kas piedāvā smalku emociju kontroli ar slīdekļiem laimei, dusmām, skumjām, bailēm un pārsteigumam. Tas piedāvā gan Transformatoru, gan jaunu SSM (state-space model) variantu. Apmācīts 200K+ stundas daudzvalodu runas ar nulles-shot balss klonēšanu no 10-30 sekundēm atsauces audio.

Dia2 by Nari Labs ir straumējoša pirmā Dia jauninājums, kas pieejams 1B un 2B parametru variantos. Tas sāk sintezēt audio no pirmajiem žetoniem, padarot to ideāli piemērotu reāllaika balss aģentiem un runas cauruļvadiem. Atbalsts vairāku skaļruņu dialogam ar [S1]/[S2] tagiem un paralingvistiskām cues, piemēram (smejas), (coughs).

OpenBMB VoxCPM 1.5 ir bezatbildīgs TTS modelis, kas darbojas vienlaidu telpā, nevis diskrētos žetonos. Tas rada augstas uzticamības 44,1kHz audio, atbalsta nulles attēla balss klonēšanu no 3-10 sekundēm un uztur konsekvenci visos punktos. Kross-language klonēšana ļauj piemērot angļu balsi ķīniešu runai un otrādi.

OuteTTS paplašina lielu valodu modeļus ar teksta-to-speech iespējām, vienlaikus saglabājot sākotnējo arhitektūru. Tā atbalsta vairākas aizmugures, tostarp lama.cpp (CPU/GPU), Hagging Face Transformers, ExLlamaV2, VLLM, un pat pārlūkprogrammas ievadi, izmantojot Transformers.js. Funkcijas nulles-shot balss klonēšana caur skaļruņu profiliem saglabāts kā JSON.

TADA (Tekst-Akustiskā dubultā izlīdzināšana) ar Hume AI ir novatorisks TTS modelis, kas novērš halucinācijas, izmantojot jaunu dubultās pielīdzināšanas arhitektūru, kas veidota uz Llamas 3.2. Pieejama 1B (angļu) un 3B (daudzvalodīga) modeļos, TADA sasniedz RTF no 0,09 — 5x ātrāk nekā uz LLM balstītus TTS modeļus. Tā atbalsta līdz pat 700 sekunžu audio kontekstu un rada emocionālu izteiksmīgu runu ar nulli halucinācijām par standarta etaloniem.

VibeVoice by Microsoft nāk divos variantos: 1.5B modelis garo formu saturu (līdz 90 minūtēm, 4 skaļruņi) un Realtime 0.5B modelis straumēšanai ar ~200ms pirmo audio latency. 1.5B variants excels pie podcasts un audiobooks ar skaļruni konsekvence garo eju. Piezīme: Microsoft izņemts TTS kods no repozitorija un ģenerēts audio ietver dzirdamu AI atrunas.

Pocket TTS by Kyutai (Moshi veidotāji) ir kompakts 100M parametra teksta-to-speech modelis, kas perforē krietni virs sava svara. Tas darbojas efektīvi ar CPU, atbalsta nulles staru balss klonēšanu no viena audio parauga un rada dabisku runu. Mazā modeļa izmērs padara to ideālu malu izvietošanai un zema avota vidē.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.