Testun i LeferyddComment

Model testun-i-leferydd 82 miliwn o baramedrau yw Kokoro sy'n gwneud yn well na'i ddosbarth pwysau. Er gwaethaf ei faint bach, mae'n cynhyrchu siarad naturiol a chryno. Cynhelir nifer o ieithoedd gan gynnwys Saesneg, Japaneg, Tsieineeg a Corea gydag amrywiaeth o lais cryf. Mae'n rhedeg yn gyflym iawn - yn creu sain bron 100 gwaith yn gyflymach na real-time ar GPU.

Peiriant testun-i-leferydd ysgafn yw Piper a ddatblygwyd gan Rhasspy sy'n defnyddio strwythurau VITS a laryncs. Mae'n rhedeg yn llwyr ar CPU, gan ei wneud yn berffaith ar gyfer dyfeisiau ymylon, awtomeiddio cartref, a rhaglenni sy'n gofyn am TTS all-lein. Gyda dros 100 o lais dros 30+ o ieithoedd, mae Piper yn darparu lleferydd sy'n swnio'n naturiol ar gyflymderau gwirioneddol hyd yn oed ar Raspberry Pi 4.

VITS (Dealltwriaeth Amrywiol gyda dysgu gwrthwynebol ar gyfer Testun-i-Leferydd diwedd-i-ddiwedd) yw dull TTS diwedd-i-ddiwedd paralel sy'n creu sain sy'n swnio'n fwy naturiol na'r modelau cyfredol o ddau gam. Mae'n mabwysiadu dealltwriaeth amrywiol wedi'i wella gyda llifoedd normaleiddio a phrosesu hyfforddi gwrthwynebol, gan gyflawni gwelliannau sylweddol mewn naturioldeb.

Llyfrgell TTS aml-iaith yw MeloTTS gan MyShell.ai sy'n cynnal Saesneg (Americanaidd, Prydeinig, Indiaidd, Awstralaidd), Sbaeneg, Ffrangeg, Tsieineaidd, Japaneaidd a Corea. Mae'n hynod o gyflym, yn prosesu testun ar gyflymder sy'n debyg i gyflymder amser real ar y CPU yn unig. Mae MeloTTS wedi ei ddylunio ar gyfer defnydd cynhyrchu ac yn cynnal dehongliad CPU a GPU.

Model testun-i-sain wedi'i seilio ar drawsnewidydd yw Bark gan Suno, sy'n gallu creu siarad amhrisiadwy, aml-ieithog, yn ogystal â sain fel cerddoriaeth, sŵn cefndir, ac effeithiau sain eraill. Gall gynhyrchu cyfathrebu di-eiriau fel chwerthin, syrthio, a crynu. Cynhelir mwy na 100 o ragosodiadau siaradwr a mwy na 13 iaith gan Bark.

Fersiwn distyll o'r model Bark yw Bark Small sy'n trosglwyddo rhywfaint o ansawdd sain am gyflymderau dehongli llawer cyflymach a gofynion cof llai. Mae'n cadw gallu Bark i greu siarad gydag emosiynau, chwerthin, ac ieithoedd lluosol.

Mae CosyVoice 2 gan Labordy Tongyi Alibaba yn cyflawni ansawdd lleferydd tebyg i'r dynol gydag arafwch isel iawn, gan ei wneud yn berffaith ar gyfer cymhwysiadau amser real. Mae'n defnyddio dull canfod sgwâr terfynedig ar gyfer cyfansoddiad llifogydd a chynhelir clonio llais zero-shot, cyfansoddiad rhwng ieithoedd, a rheoli teimladau graenus. Mae'n rhagori ar lawer o systemau TTS masnachol mewn gwerthusiad personol.

Dia gan Nari Labs yw model testun-i-leferydd 1.6B paramedr wedi'i ddylunio'n benodol ar gyfer creu cyfathrebu aml-seinydd. Gall gynhyrchu sgyrsiau sy'n swnio'n naturiol rhwng dau siaradwr gyda chylchdroi addas, prosody, a mynegiant emosiynol. Mae Dia yn berffaith ar gyfer creu cynnwys arddull pod, cyfathrebu llyfr sain, a AI cyfathrebu rhyngweithiol.

Parler TTS yw model testun-i-lafar sy'n defnyddio disgrifiadau llais iaith naturiol i reoli'r siarad a gynhyrchir. Yn hytrach na dewis o bleidleisiau rhagosodedig, chi sy'n disgrifio'r llais rydych chi ei eisiau (e.e., "llais menyw oer gydag arwyddair Prydeinig bach, yn siarad yn araf ac yn glir") a Parler sy'n creu siarad sy'n cydweddu â'r disgrifiad hwn. Mae hyn yn ei wneud yn arbennig o hyblyg ar gyfer cymwysiadau creadigol.

IndexTTS-2 yw system testun-i-leferydd uwch sy'n rhagori mewn cyfansoddiad llais zero-shot gyda rheoli teimladau grawn-fin. Gall greu siarad gyda tonau teimladau penodol fel hapus, trist, ofnadwy, neu ofnus heb angen data hyfforddi teimladau penodol. Defnyddia'r model fectorau teimladau i reoli'n uniongyrchol mynegiant teimladau'r siarad a gynhyrchir.

Spark TTS gan SparkAudio yw model testun-i-leferydd sy'n cyfuno clonio llais gydag arddull siarad a teimlad rheoliadwy. Gan ddefnyddio dim ond 5 eiliad o sain cyfeirio, gall clonio llais ac yna greu siarad gyda teimladau, cyflymderau, ac arddull gwahanol tra'n cadw'r dynodiad llais cloniedig. Defnyddia Spark TTS system reoli seiliedig ar alw.

Mae GPT-SoVITS yn cyfuno modelu iaith arddull GPT gyda SoVITS (Singing Voice Inference via Translation and Synthesis) ar gyfer clonio llais pwerus mewn ychydig o saethu. Gyda dim ond 5 eiliad o sain cyfeirio, mae'n gallu clonio llais yn gywir a chreu llais newydd tra'n cadw nodweddion unigryw'r siaradwr. Mae'n rhagori ar gyfansoddi llais siarad a chanu.

Model testun-i-leferydd ar raddfa fawr yw Orpheus sy'n cyflawni mynegiant emosiynol ar lefel dynol. Wedi'i hyfforddi ar fwy na 100,000 o oriau o ddata lleferydd amrywiol, mae'n rhagori wrth greu lleferydd gydag emosiynau naturiol, pwyslais, ac arddull siarad. Gall Orpheus gynhyrchu lleferydd sy'n amhosib ei wahanu o recordiadau dynol.

Mae Chatterbox gan Resemble AI yn fodel clonio llais zero-shot o'r radd flaenaf. Mae'n gallu ail-greu unrhyw lais o sampl sain sengl â chywirdeb anhygoel, gan ddal nid yn unig y timbre ond hefyd yr arddull siarad a'r lliwiau emosiynol. Mae gan Chatterbox hefyd reolaeth emosiwn grawn-fin, sy'n caniatáu i chi addasu ton emosiynol yr iaith a gynhyrchir yn annibynnol o'r dynodiad llais.

Tortoise TTS yw'r system testun-i-leferydd aml-lais awto-adferol sy'n rhoi blaenoriaeth i ansawdd sain dros gyflymder. Mae'n defnyddio pensaernïaeth wedi'i harwain gan DALL-E i gynhyrchu lleferydd mor naturiol â phosiod rhagorol a thebygrwydd siaradwr. Er ei fod yn arafach na llawer o ddewisiadau eraill, mae Tortoise yn cynhyrchu rhai o'r lleferydd cyfansawdd mwyaf realistig sydd ar gael yn yr ecosystem ffynhonnell agored.

Mae StyleTTS 2 yn cyflawni cyfansoddiad TTS ar lefel dynol drwy gyfuno lledaeniad arddull â hyfforddiant gwrthwynebiad gan ddefnyddio modelau iaith siarad mawr. Mae' n creu' r siarad sy' n swnio' n naturiol fwyaf o blith modelau siaradwr sengl, yn cystadlu â recordiadau dynol. Mae StyleTTS 2 yn defnyddio modelu arddull seiliedig ar ledaeniad i adnabod yr ystod lawn o newidiadau mewn siarad dynol.

Mae OpenVoice gan MyShell.ai yn galluogi clonio llais ar unwaith gydag arweiniad manwl ar arddull llais, teimlad, cystrawen, rhythm, seibiau, ac arwyddair. Mae'n gallu clonio llais o clip sain byr a chreu siarad mewn nifer o ieithoedd tra'n cadw'r dynodiad siaradwr. Mae OpenVoice hefyd yn gweithio fel trawsnewidydd llais, gan ganiatáu trawsnewid llais mewn amser real.

Qwen3-TTS yw model testun-i-leferydd 1.7 biliwn o baramedrau o dîm Qwen Alibaba. Mae'n cynnal tri modd: lleisiau rhagosodedig gyda rheoli teimladau (9 siaradwr), clôn llais o 3 eiliad o sain yn unig, a modd dylunio llais unigryw lle gallwch ddisgrifio'r llais rydych ei eisiau mewn iaith naturiol. Mae'n cwmpasu 10 iaith gyda mynegiant uchel a phrosodi naturiol.

Sesame CSM (Conversational Speech Model) yw model 1 biliwn o baramedrau wedi' i ddylunio' n benodol ar gyfer creu siarad cyfathrebu. Mae' n modelu' r patrwm naturiol o gyfathrebu dynol gan gynnwys amseru cymryd tro, ymatebion ôl-sianel, ymatebion emosiynol, a llif cyfathrebu. CSM yn creu sain sy' n swnio fel sgwrsio dynol naturiol yn hytrach na chyfathrebu cyfansawdd.