AI szöveg a beszédhez

Kokoro egy 82 millió paraméteres szövegtől-beszédig modell, amely jóval a súlyosztály felett üt. Kis mérete ellenére rendkívül természetes és kifejező beszédet ad. Kokoro több nyelvet támogat, köztük angolt, japánt, kínait és koreait különböző expresszív hangokkal. Hihetetlenül gyorsan fut, közel 100x-kal gyorsabban generál hangokat, mint valós időben egy GPU-n.

Piper egy könnyű SMS-to-speech motor által kifejlesztett Rhasspy, amely használja VITS és gége architektúrák. Ez teljesen a CPU, így ideális az él eszközök, otthon automatizálás, és alkalmazások igényel offline TTS. Több mint 100 hangok 30+ nyelvek, Piper szállít természetes hangzású beszéd valós idejű sebesség még egy málna Pi 4.

A VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) egy párhuzamos vég-vég-vég TTS módszer, amely több természetes hangzást generál, mint a jelenlegi kétlépcsős modellek. A standardizáló áramlásokkal és egy ellenzős képzési folyamattal kiegészített variációs következtetéseket fogad el, amelyek jelentős javulást eredményeznek a természetességben.

MelotTS by MyShell.ai egy többnyelvű TTS könyvtár támogató angol (amerikai, brit, indiai, ausztrál), spanyol, francia, kínai, japán, és koreai. Ez rendkívül gyors, feldolgozás szöveg közel valós idejű sebesség CPU egyedül. MelotTS célja a termelés használata, és támogatja a CPU és a GPU következtetések.

Bark by Suno egy transzformer alapú szöveg-audio modell, amely képes generálni nagyon realisztikus, többnyelvű beszéd, valamint más audio, mint a zene, háttérzaj, és hanghatások. Tud termel nonverbális kommunikáció, mint a nevetés, sóhajtozás, és sírás. Bark támogatja több mint 100 hangszóró presets és 13+ nyelvek.

A Bark Small a Bark modell desztillált változata, amely a hangminőséget jelentősen gyorsabb következtetésekre és alacsonyabb memóriaigényekre cseréli. Megőrzi Bark beszédkészségét érzelmekkel, nevetéssel és több nyelvvel.

CosyVoice 2 által Alibaba Tongyi Lab eléri az emberi-összehasonlító beszédminőség rendkívül alacsony késéssel, így ideális valós idejű alkalmazások. Ez egy véges scalar kvantálási megközelítés streaming szintézis és támogatja a zéró-shot hang klónozás, többnyelvű szintézis, és finomra vésett érzelmi kontroll. Ez túlteljesíti sok kereskedelmi TTS rendszerek szubjektív értékelések.

Dia by Nari Labs egy 1.6B paraméterű szöveg-speech modell, amelyet kifejezetten a több hangszórós párbeszéd létrehozására terveztek. Természetes hangzású beszélgetéseket tud létrehozni két beszélő között, megfelelő turn-taking, prosody és érzelmi kifejezéssel. Dia tökéletes podcast-stílusú tartalom, audiobook párbeszédek és interaktív társalgási AI létrehozásához.

Parler TTS egy szövegtől-beszédig modell, amely természetes nyelvi hangleírásokat használ a generált beszéd szabályozására. Ahelyett, hogy előre beállított hangokból választanál, leírod a kívánt hangot (pl. "meleg női hang enyhe brit akcentussal, lassan és világosan beszélve"), és Parler a leírásnak megfelelő beszédet generál. Ez egyedülállóan rugalmassá teszi a kreatív alkalmazások számára.

GLM-TTS by Zhipu AI a Llama architektúrára épülő szöveges-speech rendszer, amely megfelel az áramlásnak. Eléri a legalacsonyabb karakterhibát a nyílt forráskódú TTS modellek között, ami azt jelenti, hogy a legpontosabb kiejtést állítja elő. A GLM-TTS támogatja az angolt és a kínait a 3-10 másodperces hangmintából történő hang klónozással.

Az IndexTTS-2 egy fejlett szövegtől-beszédig rendszer, amely a zéró hangszintézisben, finoman kifinomult érzelmi vezérléssel kiemelkedik. Olyan beszédeket tud generálni, mint a boldog, szomorú, dühös vagy félelmetes, anélkül, hogy érzelmekre jellemző képzési adatokat igényelne. A modell érzelmi vektorokat használ a generált beszéd érzelmi kifejezésének pontos szabályozására.

Spark TTS by SparkAudio egy szöveges-speech modell, amely kombinálja a hang klónozás kontrollálható érzelem és beszéd stílus. Csak 5 másodperc referencia audio, képes klónozni a hangot, majd generálni a beszéd különböző érzelmek, sebesség, és stílusok fenntartása mellett a klónozott hang identitás. Spark TTS használ egy gyors-alapú vezérlő rendszer.

GPT-Sovits ötvözi a GPT-stílusú nyelvmodellezést a SoVITS-szel (Éneklő Voice Inference via Translation and Synthesis) a nagy teljesítményű, kevés-shot hang klónozására. 5 másodperces referencia-audióval pontosan klónozhat egy hangot, és új beszédet generálhat, miközben megőrzi a hangszóró egyedi jellemzőit. Kiemelkedő mind a beszédben, mind az éneklésben.

Az Orpheus egy nagyszabású szövegtől-beszédig modell, amely emberi szintű érzelmi kifejezéseket valósít meg. Több mint 100 000 órányi beszédadaton edzett, kiemelkedik a beszéd természetes érzelmekkel, hangsúlyokkal és beszédstílusokkal való megteremtésében. Az Orpheus olyan beszédet tud létrehozni, amely gyakorlatilag megkülönböztethetetlen az emberi felvételektől.

Chatterbox által Resemble AI egy élvonalbeli zéró-shot hang klónozó modell. Képes lemásolni bármilyen hangot egyetlen audio mintából figyelemre méltó pontossággal, elfogni nem csak a timbre, hanem a beszédstílust és az érzelmi árnyalatokat is. Chatterbox is rendelkezik finomra vésett érzelmi kontroll, amely lehetővé teszi, hogy a generált beszéd érzelmi hangvételét függetlenül a hang identitásától.

A tortoise TTS egy automatizált, többhangú szöveg-beszélő rendszer, amely előnyben részesíti a hangminőséget a sebesség felett. A DALL-E-inspirált architektúrát arra használja, hogy kiváló prozody és hangszóró hasonlóságot generáljon. Bár a sok alternatívánál lassabban, a tortoise a nyílt forráskódú ökoszisztémában elérhető legrealisztikusabb szintetikus beszédet állítja elő.

A StyletTS 2 az emberi szintű TTS szintézist úgy éri el, hogy ötvözi a stílus-diffúziós és az ellenzős tréningeket nagy beszédnyelvi modellekkel. A StyletTS 2 az egy hangszórós modellek közül a legtermészetesebb szónoki beszédet hozza létre, az emberi felvételekkel versengve. A StyletTS 2 diffúziós alapú stílusmodellezést használ az emberi beszéd variációk teljes skálájának megragadására.

OpenVoice by MyShell.ai lehetővé teszi az azonnali hang klónozást szemcsés kontroll felett hangstílus, érzelem, akcentus, ritmus, szünetek, és intonáció. Tud klónozni egy hangot egy rövid audio klip és generálni beszéd több nyelven, miközben fenntartja a hangszóró identitás. OpenVoice is működik, mint egy hangátalakító, lehetővé téve a valós idejű hangátalakítás.

A Qwen3-TTS egy 1,7 milliárd paraméteres szöveg-speech modell Alibaba Qwen csapatából. Három módot támogat: a hangokat érzelmi vezérléssel (9 hangszóró), a hangklónozást mindössze 3 másodperces audióból, és egy egyedi hangdesign módot, ahol a kívánt hangot természetes nyelven írja le. 10 nyelvet tartalmaz nagy kifejezőképességgel és természetes proszódiával.

A Szezám CSM (Conversational Speech Model) egy 1 milliárd paraméteres modell, amelyet kifejezetten a társalgási beszéd generálására terveztek. Az emberi beszélgetések természetes mintáit modellezi, beleértve a turn-taking időzítést, a backchannel válaszokat, az érzelmi reakciókat és a társalgási áramlást.

Chatterbox Turbo by Resemble AI egy 350M paraméter frissítés Chatterbox, szállít akár 6x valós idejű sebesség sub-200ms késés. Támogatja paralinguisztikus címkék, mint [nevet], [köhög], és [köhög] közvetlenül szövegben. Tartalmazza Perth vízjelezés minden generált audio a származási nyomon követés.

Zonos v0.1 by Zyphra egy 1.6B paraméter modell, amely finomra grained érzelem kontroll a csúszkák a boldogság, harag, szomorúság, félelem, és a meglepetés. Ez kínál mind egy Transformer és egy új SSM (állapot-tér modell) változat. Képzett 200K+ óra többnyelvű beszéd nulla-shot hang klónozás 10-30 másodperc referencia audio.

Dia2 által Nari Labs egy streaming-first upgrade to Dia, elérhető 1B és 2B paraméter változatok. Kezdi szintetizálni az audio az első néhány token, így ideális valós idejű hanganyagok és beszédtől-beszédig csővezetékek. Támogatja a több hangszóró párbeszéd [S1]/[S2] címkék és paralinguista cues, mint (nevet), (köhögés).

VoxCPM 1.5 által OpenBMB egy új tokenizer-mentes TTS modell, amely a folyamatos térben működik, és nem diszkrét tokensek. Nagyhűségű 44,1kHz audio, támogatja a zéró-shot hang klónozás 3-10 másodperc, és fenntartja a következetességet a bekezdéseket. Keresztnyelv klónozás lehetővé teszi, hogy alkalmazza az angol hangot a kínai beszéd és fordítva.

Az OuteTTS nagy nyelvi modelleket nyújt szöveges-speech képességekkel, miközben megőrzi az eredeti architektúrát. Támogatja a több backendet, beleértve a lama.cpp (CPU/GPU), az ölelés Face Transformers, ExLlamaV2, VLLM, és még böngészői következtetéseket Transformers.js. Jellemzők zéró-shot hang klónozás a hangszóró profilok mentett JSON.

A TADA (Text-Acoustic Dual Rightment) by Hume AI egy úttörő TTS modell, amely a Llama 3.2.-ra épülő új kettős összehangolási architektúrán keresztül kiküszöböli a hallucinációkat. Az 1B (angol) és 3B (többnyelvű) változatokban elérhető, a TADA 0,09 5x értékű RTF-et ér el, amely gyorsabb, mint az összehasonlítható LLM alapú TTS-modellek. 700 másodpercnyi audiókörnyezetet támogat, és érzelmileg kifejező beszédeket eredményez zéró hallucinációkkal a standard referenciaértékeken.

A VibeVoice by Microsoft két változatban kapható: egy 1,5B-s modell hosszú (legfeljebb 90 perc, 4 hangszóró) tartalomhoz és egy Realtime 0.5B-s modell streaminghez ~200ms első audio latencyvel. Az 1,5B-s változat kiemelkedik a podcastokon és az audiobookokon a hangszóró konzisztenciájával a hosszú szakaszokon keresztül. Megjegyzés: A Microsoft eltávolította a TTS kódot a tárolóból és a generált audió tartalmazza a hallható AI disclaimereket.

A Kyutai Pocket TTS (Moshi alkotói) egy kompakt 100M-es paraméterű szövegtől-beszédig modell, amely jóval a súlya fölé hat. Hatékonyan fut a CPU-n, támogatja a zéró hang klónozását egyetlen audió mintából, és természetes hangzású beszédet ad. A kis modell mérete ideálissá teszi az élkiépítéshez és az alacsony forráskódú környezetekhez.

Kitten TTS által KittenML egy ultra-könnyű szöveg-to-speech modell épült ONNX. Változatok 15M-től 80M paraméterek (25-80 MB lemezen), hogy kiváló minőségű hangszintézist CPU nélkül igényel GPU. Jellemzők 8 beépített hangok, állítható beszédsebesség, és beépített szöveg előfeldolgozás számok, pénznemek, és egységek. Ideális szél telepítése és alacsony-szélességű alkalmazások.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.