AI szöveg a beszédhez

Kokoro egy 82 millió paraméteres szövegtől-beszédig modell, amely jóval a súlyosztály felett üt. Kis mérete ellenére rendkívül természetes és kifejező beszédet ad. Kokoro több nyelvet támogat, köztük angolt, japánt, kínait és koreait különböző expresszív hangokkal. Hihetetlenül gyorsan fut, közel 100x-kal gyorsabban generál hangokat, mint valós időben egy GPU-n.

Piper egy könnyű SMS-to-speech motor által kifejlesztett Rhasspy, amely használja VITS és gége architektúrák. Ez teljesen a CPU, így ideális az él eszközök, otthon automatizálás, és alkalmazások igényel offline TTS. Több mint 100 hangok 30+ nyelvek, Piper szállít természetes hangzású beszéd valós idejű sebesség még egy málna Pi 4.

A VITS (Variational Inference with adversarial learning for end-to-end Text-to-Speech) egy párhuzamos vég-vég-vég TTS módszer, amely több természetes hangzást generál, mint a jelenlegi kétlépcsős modellek. A standardizáló áramlásokkal és egy ellenzős képzési folyamattal kiegészített variációs következtetéseket fogad el, amelyek jelentős javulást eredményeznek a természetességben.

MelotTS by MyShell.ai egy többnyelvű TTS könyvtár támogató angol (amerikai, brit, indiai, ausztrál), spanyol, francia, kínai, japán, és koreai. Ez rendkívül gyors, feldolgozás szöveg közel valós idejű sebesség CPU egyedül. MelotTS célja a termelés használata, és támogatja a CPU és a GPU következtetések.

Bark by Suno egy transzformer alapú szöveg-audio modell, amely képes generálni nagyon realisztikus, többnyelvű beszéd, valamint más audio, mint a zene, háttérzaj, és hanghatások. Tud termel nonverbális kommunikáció, mint a nevetés, sóhajtozás, és sírás. Bark támogatja több mint 100 hangszóró presets és 13+ nyelvek.

A Bark Small a Bark modell desztillált változata, amely a hangminőséget jelentősen gyorsabb következtetésekre és alacsonyabb memóriaigényekre cseréli. Megőrzi Bark beszédkészségét érzelmekkel, nevetéssel és több nyelvvel.

CosyVoice 2 által Alibaba Tongyi Lab eléri az emberi-összehasonlító beszédminőség rendkívül alacsony késéssel, így ideális valós idejű alkalmazások. Ez egy véges scalar kvantálási megközelítés streaming szintézis és támogatja a zéró-shot hang klónozás, többnyelvű szintézis, és finomra vésett érzelmi kontroll. Ez túlteljesíti sok kereskedelmi TTS rendszerek szubjektív értékelések.

Dia by Nari Labs egy 1.6B paraméterű szöveg-speech modell, amelyet kifejezetten a több hangszórós párbeszéd létrehozására terveztek. Természetes hangzású beszélgetéseket tud létrehozni két beszélő között, megfelelő turn-taking, prosody és érzelmi kifejezéssel. Dia tökéletes podcast-stílusú tartalom, audiobook párbeszédek és interaktív társalgási AI létrehozásához.

Parler TTS egy szövegtől-beszédig modell, amely természetes nyelvi hangleírásokat használ a generált beszéd szabályozására. Ahelyett, hogy előre beállított hangokból választanál, leírod a kívánt hangot (pl. "meleg női hang enyhe brit akcentussal, lassan és világosan beszélve"), és Parler a leírásnak megfelelő beszédet generál. Ez egyedülállóan rugalmassá teszi a kreatív alkalmazások számára.

GLM-TTS by Zhipu AI a Llama architektúrára épülő szöveges-speech rendszer, amely megfelel az áramlásnak. Eléri a legalacsonyabb karakterhibát a nyílt forráskódú TTS modellek között, ami azt jelenti, hogy a legpontosabb kiejtést állítja elő. A GLM-TTS támogatja az angolt és a kínait a 3-10 másodperces hangmintából történő hang klónozással.

Az IndexTTS-2 egy fejlett szövegtől-beszédig rendszer, amely a zéró hangszintézisben, finoman kifinomult érzelmi vezérléssel kiemelkedik. Olyan beszédeket tud generálni, mint a boldog, szomorú, dühös vagy félelmetes, anélkül, hogy érzelmekre jellemző képzési adatokat igényelne. A modell érzelmi vektorokat használ a generált beszéd érzelmi kifejezésének pontos szabályozására.

Spark TTS by SparkAudio egy szöveges-speech modell, amely kombinálja a hang klónozás kontrollálható érzelem és beszéd stílus. Csak 5 másodperc referencia audio, képes klónozni a hangot, majd generálni a beszéd különböző érzelmek, sebesség, és stílusok fenntartása mellett a klónozott hang identitás. Spark TTS használ egy gyors-alapú vezérlő rendszer.

GPT-Sovits ötvözi a GPT-stílusú nyelvmodellezést a SoVITS-szel (Éneklő Voice Inference via Translation and Synthesis) a nagy teljesítményű, kevés-shot hang klónozására. 5 másodperces referencia-audióval pontosan klónozhat egy hangot, és új beszédet generálhat, miközben megőrzi a hangszóró egyedi jellemzőit. Kiemelkedő mind a beszédben, mind az éneklésben.

Az Orpheus egy nagyszabású szövegtől-beszédig modell, amely emberi szintű érzelmi kifejezéseket valósít meg. Több mint 100 000 órányi beszédadaton edzett, kiemelkedik a beszéd természetes érzelmekkel, hangsúlyokkal és beszédstílusokkal való megteremtésében. Az Orpheus olyan beszédet tud létrehozni, amely gyakorlatilag megkülönböztethetetlen az emberi felvételektől.

Chatterbox által Resemble AI egy élvonalbeli zéró-shot hang klónozó modell. Képes lemásolni bármilyen hangot egyetlen audio mintából figyelemre méltó pontossággal, elfogni nem csak a timbre, hanem a beszédstílust és az érzelmi árnyalatokat is. Chatterbox is rendelkezik finomra vésett érzelmi kontroll, amely lehetővé teszi, hogy a generált beszéd érzelmi hangvételét függetlenül a hang identitásától.

A tortoise TTS egy automatizált, többhangú szöveg-beszélő rendszer, amely előnyben részesíti a hangminőséget a sebesség felett. A DALL-E-inspirált architektúrát arra használja, hogy kiváló prozody és hangszóró hasonlóságot generáljon. Bár a sok alternatívánál lassabban, a tortoise a nyílt forráskódú ökoszisztémában elérhető legrealisztikusabb szintetikus beszédet állítja elő.

A StyletTS 2 az emberi szintű TTS szintézist úgy éri el, hogy ötvözi a stílus-diffúziós és az ellenzős tréningeket nagy beszédnyelvi modellekkel. A StyletTS 2 az egy hangszórós modellek közül a legtermészetesebb szónoki beszédet hozza létre, az emberi felvételekkel versengve. A StyletTS 2 diffúziós alapú stílusmodellezést használ az emberi beszéd variációk teljes skálájának megragadására.

OpenVoice by MyShell.ai lehetővé teszi az azonnali hang klónozást szemcsés kontroll felett hangstílus, érzelem, akcentus, ritmus, szünetek, és intonáció. Tud klónozni egy hangot egy rövid audio klip és generálni beszéd több nyelven, miközben fenntartja a hangszóró identitás. OpenVoice is működik, mint egy hangátalakító, lehetővé téve a valós idejű hangátalakítás.

A Qwen3-TTS egy 1,7 milliárd paraméteres szöveg-speech modell Alibaba Qwen csapatából. Három módot támogat: a hangokat érzelmi vezérléssel (9 hangszóró), a hangklónozást mindössze 3 másodperces audióból, és egy egyedi hangdesign módot, ahol a kívánt hangot természetes nyelven írja le. 10 nyelvet tartalmaz nagy kifejezőképességgel és természetes proszódiával.

A Szezám CSM (Conversational Speech Model) egy 1 milliárd paraméteres modell, amelyet kifejezetten a társalgási beszéd generálására terveztek. Az emberi beszélgetések természetes mintáit modellezi, beleértve a turn-taking időzítést, a backchannel válaszokat, az érzelmi reakciókat és a társalgási áramlást.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.