AI Text to Speech

Kokoro është një model tekst-në-folje me 82 milion parametra që punon shumë më mirë se klasa e tij e peshes. Pavarësisht nga madhësia e vogël, prodhon një folje të jashtëzakonshme natyrale dhe shprehëse. Kokoro suporton gjuhë të shumta duke përfshirë anglishten, japonishten, kinezishten dhe koreanishten me një varietet zërash shprehës. Ekzekutohet jashtëzakonisht shpejt — duke gjeneruar tinguj pothuajse 100 herë më shpejt se në kohë reale në një GPU.

Piper është një motor i lehtë tekst-në-folje i zhvilluar nga Rhasspy që përdor arkitekturat VITS dhe larynx. Ekzekutohet krejtësisht në CPU, duke e bërë atë ideal për pajisjet e periferisë, automatikën shtëpiake dhe aplikacionet që kërkojnë TTS jashtë linje. Me mbi 100 zëra në më shumë se 30 gjuhë, Piper jep një zë natyror në shpejtësi të kohës reale edhe në një Raspberry Pi 4.

VITS (Variation Inference with adversarial learning for end-to-end Text-to-Speech) është një metodë paralele TTS që gjeneron tinguj më natyrorë se sa modelet aktuale me dy faza. Ajo adopton variacionin e inferimit të rritur me rrjedhat normalizuese dhe një proces trainimi kundërshtar, duke arritur një përmirësim të ndjeshëm në natyrshmëri.

MeloTTS nga MyShell.ai është një bibliotekë shumëgjuhëshe TTS që suporton anglishten (amerikane, britanike, indiane, australiane), spanjishten, frëngjishten, kineze, japoneze dhe koreane. Është shumë e shpejtë, duke përpunuar tekstin me shpejtësi pothuajse në kohë reale vetëm në CPU. MeloTTS është projektuar për përdorim në prodhim dhe suporton si CPU ashtu edhe GPU.

Bark nga Suno është një model i bazuar në transformues tekst-në-zër që mund të gjenerojë një fjalim shumë realist, shumëgjuhësh si dhe tinguj të tjerë si muzika, zhurma e sfondit dhe efektet e tingullit. Mund të prodhojë komunikime joverbale si qeshje, psherëtima dhe qaje. Bark suporton mbi 100 paracaktime të folësit dhe më shumë se 13 gjuhë.

Bark Small është një version i distiluar i modelit Bark që shkëmben disa cilësi të audios për shpejtësi më të shpejta të deduktimit dhe kërkesa më të ulta të kujtesës. Ruan aftësinë e Bark për të gjeneruar fjalë me emocione, qeshje dhe gjuhë të shumta.

CosyVoice 2 nga laboratori Tongyi i Alibaba arriti cilësinë e foljes së krahasueshme me atë të njeriut me kohëzgjatje shumë të ulët, duke e bërë atë ideal për aplikimet në kohë reale. Përdor një qasje të kufizuar të kuantizimit skalar për sintezën e rrjedhjes dhe mbështet klonimin e zërit zero-shot, sintezën ndërgjuhësore dhe kontrollin e grimcave të vogla të emocioneve. E tejkalon shumë sisteme komerciale TTS në vlerësimet subjektive.

Dia nga Nari Labs është një model 1.6B parametrash tekst-në-folje i dizajnuar posaçërisht për të gjeneruar dialog me shumë folës. Mund të prodhojë biseda me tingull natyror midis dy folësve me një rradhë të përshtatshme, prozodi dhe shprehje emocionale. Dia është e përsosur për krijimin e përmbajtjes në stilin e podcast, dialogueve audiobook dhe AI bisedore interaktive.

Parler TTS është një model tekst-në-folje që përdor përshkrimet e zërit të gjuhës natyrore për të kontrolluar fjalën e gjeneruar. Në vend të zgjedhjes nga zërat e paracaktuar, ju përshkruani zërin që dëshironi (p.sh., "një zë i ngrohtë femëror me një theks të lehtë britanik, duke folur ngadalë dhe qartë") dhe Parler gjeneron fjalën që përputhet me atë përshkrim. Kjo e bën atë të veçantë për aplikacionet krijuese.

GLM-TTS nga Zhipu AI është një sistem tekst-në-folje i ndërtuar mbi arkitekturën Llama me përputhje të rrjedhës. Ai arrin normën më të ulët të gabimeve të karaktereve midis modeleve të hapura të TTS, që do të thotë se prodhon përkthimin më të saktë. GLM-TTS suporton anglishten dhe kinezishten me klonimin e zërit nga 3-10 sekonda shembuj audio.

IndexTTS-2 është një sistem i avancuar tekst-në-folje që shkëlqen në sintezën e zërit zero-shot me kontroll të hollë të emocioneve. Ai mund të gjenerojë fjalë me tonet e veçanta emocionale si të lumtur, të trishtuar, të zemëruar ose të frikësuar pa kërkuar të dhëna të trainimit të veçanta emocionale. Modeli përdor vektora emocionesh për të kontrolluar saktësisht shprehjen emocionale të fjalës së gjeneruar.

Spark TTS nga SparkAudio është një model tekst-në-folje që kombinon klonimin e zërit me emocionin e kontrollueshëm dhe stilin e foljes. Duke përdorur vetëm 5 sekonda të audios së referencës, mund të klonojë një zë dhe pastaj të gjenerojë fjalë me emocione, shpejtësi dhe stile të ndryshme ndërsa ruan identitetin e zërit të klonuar. Spark TTS përdor një sistem kontrolli të bazuar në pyetje.

GPT-SoVITS kombinon modelimin e gjuhës në stilin GPT me SoVITS (Këngë e Zërit Inferion nëpërmjet Përkthimit dhe Sintezimit) për klonimin e fuqishëm të zërit me pak goditje. Me vetëm 5 sekonda audio referencë, mund të klonojë saktësisht një zë dhe të gjenerojë një zë të ri ndërsa ruan karakteristikat unike të folësit. Shpërblen si në sintezën e zërit të folur ashtu edhe të këngës.

Orpheus është një model tekst-në-folje në shkallë të madhe që arrin shprehje emocionale në nivelin e njeriut. I trajnuar në mbi 100,000 orë të dhëna të ndryshme të foljes, ai shkëlqen në gjenerimin e fjalimit me emocione natyrore, theksim, dhe stilet e foljes. Orpheus mund të prodhojë fjalë që është praktikisht e padukshme nga regjistrimet njerëzore.

Chatterbox nga Resemble AI është një model i klonimit të zërit zero-shot. Ai mund të kopjoj çdo zë nga një shembull i vetëm audio me saktësi të jashtëzakonshme, duke kapur jo vetëm tingullin por gjithashtu stilin e të folurit dhe nuancat emocionale. Chatterbox gjithashtu ka një kontroll të hollë të emocioneve, duke ju lejuar të rregulloni tonin emocional të të folurit të gjeneruar pavarësisht nga identiteti i zërit.

Tortoise TTS është një sistem auto-regresiv tekst-në-folje me shumë zëra që i jep përparësi cilësisë së zërit ndaj shpejtësisë. Përdor arkitekturën e frymëzuar nga DALL-E për të gjeneruar një fjalim shumë natyror me një prozodi të shkëlqyer dhe ngjashmëri të folësit. Ndërsa është më i ngadalshëm se shumë alternativa, Tortoise prodhon disa nga fjalët sintetike më realiste në dispozicion në ekosistemin me burim të hapur.

StyleTTS 2 arrin sintezën e nivelit njerëzor të TTS duke kombinuar përhapjen e stilit me trainimin e kundërshtarit duke përdorur modele të mëdha të gjuhës së folur. Gjeneraton zërin më natyror të foljes midis modeleve me një folës, duke konkurruar me regjistrimet njerëzore. StyleTTS 2 përdor modelimin e stilit të bazuar në përhapje për të kapur gamën e plotë të variacioneve të foljes njerëzore.

OpenVoice nga MyShell.ai lejon klonimin e menjëhershëm të zërit me kontroll të hollësishëm mbi stilin e zërit, emocionin, theksin, ritmin, pauza dhe intonacionin. Mund të klonojë një zë nga një klip i shkurtër audio dhe të gjenerojë fjalë në gjuhë të ndryshme duke mbajtur identitetin e folësit. OpenVoice funksionon gjithashtu si një konvertues zëri, duke lejuar transformimin e zërit në kohë reale.

Qwen3-TTS është një model me 1.7 miliard parametra tekst-në-folje nga ekipi Qwen i Alibaba. Ai suporton tre mënyra: zëra të paracaktuar me kontroll emocionesh (9 folës), klonim zëri nga vetëm 3 sekonda audio, dhe një mënyrë unike të dizajnit të zërit ku ju përshkruani zërin që doni në gjuhë natyrore. Ai mbulon 10 gjuhë me shprehje të lartë dhe prozodi natyrore.

Sesame CSM (Conversational Speech Model) është një model me 1 miliard parametra i projektuar posaçërisht për të gjeneruar biseda biseduese. Ai modelon modelet natyrore të bisedave njerëzore duke përfshirë kohën e ndërprerjes së bisedave, përgjigjet e kanaleve të prapa, reagimet emocionale dhe rrjedhën e bisedave. CSM gjeneron audio që tingëllon si një bisedë natyrore njerëzore në vend të një bisede sintetike.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.