Testun i LeferyddComment

Model testun-i-leferydd 82 miliwn o baramedrau yw Kokoro sy'n gwneud yn well na'i ddosbarth pwysau. Er gwaethaf ei faint bach, mae'n cynhyrchu siarad naturiol a chryno. Cynhelir nifer o ieithoedd gan gynnwys Saesneg, Japaneg, Tsieineeg a Corea gydag amrywiaeth o lais cryf. Mae'n rhedeg yn gyflym iawn - yn creu sain bron 100 gwaith yn gyflymach na real-time ar GPU.

Peiriant testun-i-leferydd ysgafn yw Piper a ddatblygwyd gan Rhasspy sy'n defnyddio strwythurau VITS a laryncs. Mae'n rhedeg yn llwyr ar CPU, gan ei wneud yn berffaith ar gyfer dyfeisiau ymylon, awtomeiddio cartref, a rhaglenni sy'n gofyn am TTS all-lein. Gyda dros 100 o lais dros 30+ o ieithoedd, mae Piper yn darparu lleferydd sy'n swnio'n naturiol ar gyflymderau gwirioneddol hyd yn oed ar Raspberry Pi 4.

VITS (Dealltwriaeth Amrywiol gyda dysgu gwrthwynebol ar gyfer Testun-i-Leferydd diwedd-i-ddiwedd) yw dull TTS diwedd-i-ddiwedd paralel sy'n creu sain sy'n swnio'n fwy naturiol na'r modelau cyfredol o ddau gam. Mae'n mabwysiadu dealltwriaeth amrywiol wedi'i wella gyda llifoedd normaleiddio a phrosesu hyfforddi gwrthwynebol, gan gyflawni gwelliannau sylweddol mewn naturioldeb.

Llyfrgell TTS aml-iaith yw MeloTTS gan MyShell.ai sy'n cynnal Saesneg (Americanaidd, Prydeinig, Indiaidd, Awstralaidd), Sbaeneg, Ffrangeg, Tsieineaidd, Japaneaidd a Corea. Mae'n hynod o gyflym, yn prosesu testun ar gyflymder sy'n debyg i gyflymder amser real ar y CPU yn unig. Mae MeloTTS wedi ei ddylunio ar gyfer defnydd cynhyrchu ac yn cynnal dehongliad CPU a GPU.

Model testun-i-sain wedi'i seilio ar drawsnewidydd yw Bark gan Suno, sy'n gallu creu siarad amhrisiadwy, aml-ieithog, yn ogystal â sain fel cerddoriaeth, sŵn cefndir, ac effeithiau sain eraill. Gall gynhyrchu cyfathrebu di-eiriau fel chwerthin, syrthio, a crynu. Cynhelir mwy na 100 o ragosodiadau siaradwr a mwy na 13 iaith gan Bark.

Fersiwn distyll o'r model Bark yw Bark Small sy'n trosglwyddo rhywfaint o ansawdd sain am gyflymderau dehongli llawer cyflymach a gofynion cof llai. Mae'n cadw gallu Bark i greu siarad gydag emosiynau, chwerthin, ac ieithoedd lluosol.

Mae CosyVoice 2 gan Labordy Tongyi Alibaba yn cyflawni ansawdd lleferydd tebyg i'r dynol gydag arafwch isel iawn, gan ei wneud yn berffaith ar gyfer cymhwysiadau amser real. Mae'n defnyddio dull canfod sgwâr terfynedig ar gyfer cyfansoddiad llifogydd a chynhelir clonio llais zero-shot, cyfansoddiad rhwng ieithoedd, a rheoli teimladau graenus. Mae'n rhagori ar lawer o systemau TTS masnachol mewn gwerthusiad personol.

Dia gan Nari Labs yw model testun-i-leferydd 1.6B paramedr wedi'i ddylunio'n benodol ar gyfer creu cyfathrebu aml-seinydd. Gall gynhyrchu sgyrsiau sy'n swnio'n naturiol rhwng dau siaradwr gyda chylchdroi addas, prosody, a mynegiant emosiynol. Mae Dia yn berffaith ar gyfer creu cynnwys arddull pod, cyfathrebu llyfr sain, a AI cyfathrebu rhyngweithiol.

Parler TTS yw model testun-i-lafar sy'n defnyddio disgrifiadau llais iaith naturiol i reoli'r siarad a gynhyrchir. Yn hytrach na dewis o bleidleisiau rhagosodedig, chi sy'n disgrifio'r llais rydych chi ei eisiau (e.e., "llais menyw oer gydag arwyddair Prydeinig bach, yn siarad yn araf ac yn glir") a Parler sy'n creu siarad sy'n cydweddu â'r disgrifiad hwn. Mae hyn yn ei wneud yn arbennig o hyblyg ar gyfer cymwysiadau creadigol.

GLM-TTS gan Zhipu AI yw system testun-i-leferydd wedi'i hadeiladu ar arddull Llama gyda chydweddiad llif. Mae'n cyrraedd y gyfradd gwall nodau isaf ymhlith modelau TTS ffynhonnell agored, sy'n golygu ei fod yn cynhyrchu'r ynganiad mwyaf cywir. GLM-TTS yn cynnal Saesneg a Tsieinëeg gyda chlonio llais o samplau sain 3-10 eiliad.

IndexTTS-2 yw system testun-i-leferydd uwch sy'n rhagori mewn cyfansoddiad llais zero-shot gyda rheoli teimladau grawn-fin. Gall greu siarad gyda tonau teimladau penodol fel hapus, trist, ofnadwy, neu ofnus heb angen data hyfforddi teimladau penodol. Defnyddia'r model fectorau teimladau i reoli'n uniongyrchol mynegiant teimladau'r siarad a gynhyrchir.

Spark TTS gan SparkAudio yw model testun-i-leferydd sy'n cyfuno clonio llais gydag arddull siarad a teimlad rheoliadwy. Gan ddefnyddio dim ond 5 eiliad o sain cyfeirio, gall clonio llais ac yna greu siarad gyda teimladau, cyflymderau, ac arddull gwahanol tra'n cadw'r dynodiad llais cloniedig. Defnyddia Spark TTS system reoli seiliedig ar alw.

Mae GPT-SoVITS yn cyfuno modelu iaith arddull GPT gyda SoVITS (Singing Voice Inference via Translation and Synthesis) ar gyfer clonio llais pwerus mewn ychydig o saethu. Gyda dim ond 5 eiliad o sain cyfeirio, mae'n gallu clonio llais yn gywir a chreu llais newydd tra'n cadw nodweddion unigryw'r siaradwr. Mae'n rhagori ar gyfansoddi llais siarad a chanu.

Model testun-i-leferydd ar raddfa fawr yw Orpheus sy'n cyflawni mynegiant emosiynol ar lefel dynol. Wedi'i hyfforddi ar fwy na 100,000 o oriau o ddata lleferydd amrywiol, mae'n rhagori wrth greu lleferydd gydag emosiynau naturiol, pwyslais, ac arddull siarad. Gall Orpheus gynhyrchu lleferydd sy'n amhosib ei wahanu o recordiadau dynol.

Mae Chatterbox gan Resemble AI yn fodel clonio llais zero-shot o'r radd flaenaf. Mae'n gallu ail-greu unrhyw lais o sampl sain sengl â chywirdeb anhygoel, gan ddal nid yn unig y timbre ond hefyd yr arddull siarad a'r lliwiau emosiynol. Mae gan Chatterbox hefyd reolaeth emosiwn grawn-fin, sy'n caniatáu i chi addasu ton emosiynol yr iaith a gynhyrchir yn annibynnol o'r dynodiad llais.

Tortoise TTS yw'r system testun-i-leferydd aml-lais awto-adferol sy'n rhoi blaenoriaeth i ansawdd sain dros gyflymder. Mae'n defnyddio pensaernïaeth wedi'i harwain gan DALL-E i gynhyrchu lleferydd mor naturiol â phosiod rhagorol a thebygrwydd siaradwr. Er ei fod yn arafach na llawer o ddewisiadau eraill, mae Tortoise yn cynhyrchu rhai o'r lleferydd cyfansawdd mwyaf realistig sydd ar gael yn yr ecosystem ffynhonnell agored.

Mae StyleTTS 2 yn cyflawni cyfansoddiad TTS ar lefel dynol drwy gyfuno lledaeniad arddull â hyfforddiant gwrthwynebiad gan ddefnyddio modelau iaith siarad mawr. Mae' n creu' r siarad sy' n swnio' n naturiol fwyaf o blith modelau siaradwr sengl, yn cystadlu â recordiadau dynol. Mae StyleTTS 2 yn defnyddio modelu arddull seiliedig ar ledaeniad i adnabod yr ystod lawn o newidiadau mewn siarad dynol.

Mae OpenVoice gan MyShell.ai yn galluogi clonio llais ar unwaith gydag arweiniad manwl ar arddull llais, teimlad, cystrawen, rhythm, seibiau, ac arwyddair. Mae'n gallu clonio llais o clip sain byr a chreu siarad mewn nifer o ieithoedd tra'n cadw'r dynodiad siaradwr. Mae OpenVoice hefyd yn gweithio fel trawsnewidydd llais, gan ganiatáu trawsnewid llais mewn amser real.

Qwen3-TTS yw model testun-i-leferydd 1.7 biliwn o baramedrau o dîm Qwen Alibaba. Mae'n cynnal tri modd: lleisiau rhagosodedig gyda rheoli teimladau (9 siaradwr), clôn llais o 3 eiliad o sain yn unig, a modd dylunio llais unigryw lle gallwch ddisgrifio'r llais rydych ei eisiau mewn iaith naturiol. Mae'n cwmpasu 10 iaith gyda mynegiant uchel a phrosodi naturiol.

Sesame CSM (Conversational Speech Model) yw model 1 biliwn o baramedrau wedi' i ddylunio' n benodol ar gyfer creu siarad cyfathrebu. Mae' n modelu' r patrwm naturiol o gyfathrebu dynol gan gynnwys amseru cymryd tro, ymatebion ôl-sianel, ymatebion emosiynol, a llif cyfathrebu. CSM yn creu sain sy' n swnio fel sgwrsio dynol naturiol yn hytrach na chyfathrebu cyfansawdd.

Mae Chatterbox Turbo gan Resemble AI yn uwchraddiad paramedr 350M i Chatterbox, gan ddarparu hyd at 6x o gyflymder amser real gydag oedi o dan 200ms. Mae'n cynnal tagiau para-ieithyddol fel [laugh], [cough], a [chuckle] yn uniongyrchol yn y testun. Mae'n cynnwys marcio dŵr Perth ar bob sain a gynhyrchir ar gyfer olrhain ffynhonnell.

Zonos v0. 1 gan Zyphra yw model paramedr 1. 6B sy'n cynnwys rheoli teimladau graenus gyda llithryddion ar gyfer hapusrwydd, ofn, tristwch, ofn, a syndod. Mae'n cynnig Transformer a math newydd o SSM (model lle-state). Hyfforddwyd ar 200K+ o oriau o siarad aml-ieithog gyda chlonio llais zero-shot o 10-30 eiliad o sain cyfeirio.

Dia2 gan Nari Labs yw uwchraddiad llif-ymlaen i Dia, ar gael mewn amrywiadau paramedr 1B a 2B. Mae'n dechrau cyfansoddi sain o'r ychydig tocynnau cyntaf, gan ei wneud yn berffaith ar gyfer asiantau llais amser real a phibellau iaith-i-iaith. Mae'n cynnal cyfathrebu aml-seinydd gyda thagiau [S1]/[S2] ac awgrymiadau paraiaith fel (laughs), (coughs).

VoxCPM 1.5 gan OpenBMB yw model TTS newydd rydd-tokenizer sy'n gweithredu mewn gofod parhaus yn hytrach na tocynnau disgybledig. Mae'n cynhyrchu sain 44.1kHz uchel-ddilysrwydd, yn cynnal clonio llais zero-shot o 3-10 eiliad, ac yn cadw cydlyniant drwy baragraffau. Galluoga clonio traws-iaith i chi gymhwyso llais Saesneg i siarad Tsieineaidd a'r gwrthwyneb.

Mae OuteTTS yn ehangu modelau iaith mawr gyda galluoedd testun-i-ganu tra'n cadw'r adeiladwaith gwreiddiol. Mae'n cynnal amryw o ochr gefn gan gynnwys llama.cpp (CPU/GPU), Hugging Face Transformers, ExLlamaV2, VLLM, a hyd yn oed dehongliad porwr drwy Transformers.js. Mae'n cynnwys clonio llais zero-shot drwy broffiliau siaradwyr wedi'u cadw fel JSON.

TADA (Text-Acoustic Dual Alignment) gan Hume AI yw model TTS blaengar sy'n dileu dychryniadau trwy adeiladwaith dychryniad dwbl newydd sbon wedi'i adeiladu ar Llama 3. 2. Ar gael mewn amrywiadau 1B (Saesneg) a 3B (aml-ieithog), TADA yn cyrraedd RTF o 0. 09 — 5x yn gyflymach na modelau TTS sy'n seiliedig ar LLM cymharol. Mae'n cynnal hyd at 700 eiliad o gyd-destun sain a chynhyrchu siarad mynegiant emosiynol gyda dim dychryniadau ar feini prawf safonol.

Mae VibeVoice gan Microsoft yn dod mewn dwy fersiwn: model 1.5B ar gyfer cynnwys ffurf hir (hyd at 90 munud, 4 siaradwr) a model Realtime 0.5B ar gyfer llifogydd gyda ~200ms o oedi sain cyntaf. Mae'r fersiwn 1.5B yn rhagorol ar gyfer podiau a llyfr sain gyda chysondeb siaradwr dros rannau hir. Noder: Tynnodd Microsoft y cod TTS o'r storfa ac mae'r sain a gynhyrchwyd yn cynnwys datganiadau diffyg atebolrwydd AI clywadwy.

Model testun-i-leferydd cymhleth 100M o paramedrau yw Pocket TTS gan Kyutai (crewyr Moshi) sy'n torri'r ffiniau. Mae'n rhedeg yn effeithlon ar CPU, yn cynnal clonio llais zero-shot o sampl sain sengl, ac yn cynhyrchu llais sy'n swnio'n naturiol. Mae maint bach y model yn ei wneud yn berffaith ar gyfer datblygiadau ar y ffin a chyfleusterau sydd â llai o adnoddau.

Model testun-i-leferydd ultra-ysgafn yw Kitten TTS gan KittenML, wedi'i adeiladu ar ONNX. Gyda gwahanol fathau o 15M i 80M o baramedrau (25-80 MB ar y ddisg), mae'n darparu cyfansoddiad llais o ansawdd uchel ar y CPU heb angen GPU. Mae ganddo 8 llais mewnol, cyflymder llais addasadwy, a rhag-brosesu testun mewnol ar gyfer rhifau, arian, ac unedau. Mae'n berffaith ar gyfer rhaglenni eithaf a chynnydd isel.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.