Праграма пераўтварэння тэксту ў мовуName

Kokoro - гэта 82- мільённая мадэль пераўтварэння тэксту ў мову, якая пераўзыходзіць свае магчымасці. Нягледзячы на невялікі памер, яна дазваляе атрымліваць натуральную і выразную мову. Kokoro падтрымлівае некалькі моў, у тым ліку англійскую, японскую, кітайскую і карэйскую, з рознымі выразнымі голасамі. Яна працуе неверагодна хутка - генеруе гук амаль у 100 разоў хутчэй, чым у рэальным часе на GPU.

Piper - гэта лёгкі рухавік пераўтварэння тэксту ў мову, распрацаваны Rhasspy, які выкарыстоўвае архітэктуры VITS і larynx. Ён працуе цалкам на працэсары, што робіць яго ідэальным для перыферычных прылад, хатняй аўтаматызацыі і прыкладанняў, якія патрабуюць аўтаномнага пераўтварэння тэксту ў мову. З больш чым 100 галасамі на больш чым 30 мовах, Piper дае натуральна гучную мову з хуткасцю рэальнага часу нават на Raspberry Pi 4.

VITS (Variation Inference with adversarial learning for end- to- end Text- to- Speech) - гэта паралельны метад перакладу тэксту на мову, які генеруе больш натуральны гук, чым цяперашнія двухступеністыя мадэлі. Ён выкарыстоўвае варыяцыйную інферэнцыю, падмацаваную нармалізуючымі патокамі і канкурэнтным працэсам навучання, што дазваляе дасягнуць значнага паляпшэння натуральнасці.

MeloTTS ад MyShell. ai - гэта шматмоўная бібліятэка TTS, якая падтрымлівае англійскую (амерыканскую, брытанскую, індыйскую, аўстралійскую), іспанскую, французскую, кітайскую, японскую і карэйскую мовы. Яна вельмі хуткая, апрацоўвае тэкст амаль у рэальным часе толькі на працэсары. MeloTTS распрацавана для выкарыстання ў прамысловасці і падтрымлівае як працэсар, так і графічны працэсар.

Bark ад Suno - гэта трансфарматарная мадэль пераўтварэння тэксту ў аўдыё, якая можа генераваць вельмі рэалістычную, шматмоўную мову, а таксама іншыя гукавыя эфекты, такія як музыка, фонавы шум і гукавыя эфекты. Яна можа генераваць невербальны зносіны, такія як смех, дыханне і плач. Bark падтрымлівае больш за 100 налад дыктараў і больш за 13 моў.

Bark Small - гэта перапрацаваная версія мадэлі Bark, якая зніжае якасць гуку ў абмен на значна большую хуткасць вываду і меншыя патрабаванні да памяці. Яна захоўвае магчымасць генераваць мову з эмоцыямі, смехам і на некалькіх мовах.

CosyVoice 2, распрацаваны лабараторыяй Tongyi Lab кампаніі Alibaba, забяспечвае якасць гаворкі, падобную да чалавечай, з вельмі нізкім часам чакання, што робіць яго ідэальным для прыкладанняў рэальнага часу. Ён выкарыстоўвае канечны скалярны квантавы падыход для сінтэзу ў рэжыме рэальнага часу і падтрымлівае клонаванне голасу з нулявым выбухам, сінтэз паміж мовамі і дакладнае кіраванне эмоцыямі. Пры суб'ектыўных ацэнках ён пераўзыходзіць многія камерцыйныя сістэмы TTS.

Dia ад Nari Labs - гэта мадэль пераўтварэння тэксту ў мову з параметрамі 1. 6B, распрацаваная спецыяльна для стварэння дыялогу паміж некалькімі гульцамі. Яна можа ствараць натуральна гучачыя размовы паміж двума гульцамі з адпаведнымі паваротамі, празодыяй і эмацыянальным выражэннем. Dia ідэальна падыходзіць для стварэння змесціва ў стылі подкастаў, дыялогу паміж гукавымі кнігамі і інтэрактыўным штучным інтэлектам.

Parler TTS - гэта мадэль пераўтварэння тэксту ў мову, якая выкарыстоўвае апісанне голасу натуральнай мовы для кіравання генераванай мовай. Замест таго, каб выбіраць з прадвызначаных голасаў, вы апісваеце жаданы голас (напрыклад, "цёплы жаночы голас з невялікім брытанскім акцэнтам, які гаворыць павольна і дакладна"), і Parler генеруе мову, якая адпавядае гэтаму апісанню. Гэта робіць яго унікальна гнуткімі для творчых праграм.

GLM- TTS ад Zhipu AI - гэта сістэма пераўтварэння тэксту ў мову, пабудаваная на архітэктуры Llama з падпарадкаваннем плыні. Яна дасягае найменшага ўзроўню памылак сярод мадэляў TTS з адкрытым зыходным кодам, што азначае, што яна вырабляе найбольш дакладнае вымаўленне. GLM- TTS падтрымлівае англійскую і кітайскую з клонаваннем голасу з 3- 10 секундных аўдыёсемплаў.

IndexTTS- 2 - гэта прасунутая сістэма пераўтварэння тэксту ў мову, якая адрозніваецца нулявым сінтэзам голасу з дакладным кантролем эмоцый. Яна можа генераваць мову з пэўнымі эмацыянальнымі тонамі, такімі як шчаслівы, сумны, злы або баязлівы, не патрабуючы спецыяльных эмацыянальных трэніровачных дадзеных. Модэль выкарыстоўвае вектары эмоцый для дакладнага кантролю эмацыянальнага выражэння генераванай мовы.

Spark TTS ад SparkAudio - гэта мадэль пераўтварэння тэксту ў мову, якая спалучае ў сабе клонаванне голасу з кантралюемымі эмоцыямі і стылем гаворкі. Выкарыстоўваючы толькі 5 секунд аўдыё, яна можа клонаваць голас, а затым генераваць мову з рознымі эмоцыямі, хуткасцю і стылем, захоўваючы пры гэтым ідэнтыфікацыю клонаванага голасу. Spark TTS выкарыстоўвае сістэму кіравання, заснаваную на запыце.

GPT- SoVITS аб' ядноўвае мадэляваньне мовы ў стылі GPT з SoVITS (Singing Voice Inference via Translation and Synthesis) для магутнага кланаваньня голасу ў некалькіх кадрах. Толькі з 5 секундамі рэферэнцыйнага гуку, ён можа дакладна кланавацца і генераваць новую мову, захоўваючы ўнікальныя характарыстыкі гаворцы. Ён выдатна працуе з сінтэзам голасу як у размове, так і ў спеве.

Orpheus - гэта вялікамасштабная мадэль пераўтварэння тэксту ў мову, якая дасягае эмацыянальнага выражэння на ўзроўні чалавека. Праграма была трэніраваная на больш чым 100 000 гадзінах розных дадзеных гаворкі, яна выдатна генеруе мову з натуральнымі эмоцыямі, акцэнтам і стылямі гаворкі. Orpheus можа генераваць мову, якую практычна немагчыма адрозніць ад запісаў чалавека.

Chatterbox ад Resemble AI - гэта найноўшая мадэль клонавання голасу з нулявым выбухам. Яна можа паўтарыць любы голас з аднаго аўдыёсэмплю з выдатнай дакладнасцю, захопліваючы не толькі тыямбр, але і стыль гаворкі і эмацыянальныя нюансы. Chatterbox таксама мае дакладнае кіраванне эмоцыямі, што дазваляе вам наладжваць эмацыянальны тон генераванай гаворкі незалежна ад ідэнтычнасці голасу.

Tortoise TTS - гэта аўтарэгрэсіўная шматголасная сістэма пераўтварэння тэксту ў мову, якая аддае перавагу якасці гуку перад хуткасцю. Яна выкарыстоўвае архітэктуру, натхнёную DALL- E, каб генераваць натуральную мову з выдатнай празодыяй і падобнасцю да гаворкі. Нягледзячы на тое, што Tortoise павольней, чым многія альтэрнатывы, ён вырабляе найбольш рэалістычную сінтэзаваную мову, даступную ў экасістэме з адкрытым зыходным кодам.

StyleTTS 2 дасягае сінтэзу TTS на ўзроўні чалавека, спалучаючы дыфузію стылю з канкурэнтным навучаннем з выкарыстаннем вялікіх мадэляў мовы гаворкі. Ён генеруе найбольш натуральна гучаючую мову сярод мадэляў аднаго гукарэжысёра, канкурыруючы з запісамі чалавека. StyleTTS 2 выкарыстоўвае мадэляванне стылю на аснове дыфузіі для захопу поўнага дыяпазону вар' яцтва чалавечай мовы.

OpenVoice ад MyShell.ai дазваляе неадкладна клонаваць голас з дробным кантролем над стылем голасу, эмоцыямі, акцэнтам, рытмам, перапынкамі і інтанацыяй. Ён можа клонаваць голас з кароткага аўдыякліпа і генераваць размову на некалькіх мовах, захоўваючы ідэнтычнасць гаворцы. OpenVoice таксама функцыянуе як пераўтваральнік голасу, дазваляючы пераўтварэнне голасу ў рэальным часе.

Qwen3- TTS - гэта мадэль пераўтварэння тэксту ў мову з 1. 7 мільярдамі параметраў, распрацаваная камандай Qwen кампаніі Alibaba. Яна падтрымлівае тры рэжымы: прадвызначаныя галасы з кантролем эмоцый (9 дынамікаў), клонаванне голасу з 3 секундаў гуку і унікальны рэжым дызайну голасу, дзе вы апісваеце патрэбны вам голас на натуральнай мове. Яна ахоплівае 10 моў з высокай выразнасцю і натуральнай празодыяй.

Sesame CSM (Conversational Speech Model) - гэта мадэль з 1 мільярдамі параметраў, распрацаваная спецыяльна для стварэння гутарковай мовы. Яна мадэлюе прыродныя ўзоры гутаркі чалавека, уключаючы час павароту, адказы назад, эмацыянальныя рэакцыі і гутарку. CSM генеруе гук, які гучыць як прыродная гутарка чалавека, а не сінтэтычная мова.

Chatterbox Turbo ад Resemble AI - гэта абнаўленне параметраў Chatterbox на 350М, якое дае хуткасць да 6x у рэальным часе з затрымкай менш за 200 мс. Ён падтрымлівае паралінгвістычныя тэгі, такія як [smile], [cough] і [chuckle] прама ў тэксце. Уключае ў сябе Perth watermark на ўсіх створаных гуках для адсочвання паходжання.

Zonos v0. 1 ад Zyphra - гэта мадэль з параметрамі 1. 6B, якая ўключае ў сябе дакладнае кіраванне эмоцыямі з паліцаямі для радасці, злосці, суму, страху і нечаканасці. Яна прапануе як трансфарматар, так і новы варыянт SSM (мадэлі прасторы станаў). Праграма трэніравалася на 200K+ гадзінах шматмоўнай мовы з нулявым клонаваннем голасу з 10- 30 секундаў аўдыё.

Dia2 ад Nari Labs - гэта абнаўленне Dia, даступнае ў 1B і 2B варыянтаў параметраў. Ён пачынае сінтэзаваць гук з першых некалькіх знакаў, што робіць яго ідэальным для галасавых агентаў рэальнага часу і канвеераў размова- да- мовы. Падтрымлівае дыялог з некалькімі гульцамі з тэгамі [S1] / [S2] і паралінгвістычныя падказкі, такія як (smiles), (coughs).

VoxCPM 1. 5 ад OpenBMB - гэта новая мадэль TTS, якая працуе ў бесперапыннай прасторы, а не ў дыскрэтных токенах. Яна вырабляе аўдыё высокай якасці 44. 1kHz, падтрымлівае нулявое клонаванне голасу з 3- 10 секунд, і захоўвае паслядоўнасць паміж абзацамі. Кросна- моўнае клонаванне дазваляе выкарыстоўваць англійскі голас у кітайскай мове і наадварот.

OuteTTS пашырае магчымасці тэкставага перакладу на мову, захоўваючы арыгінальную архітэктуру. Ён падтрымлівае некалькі backends, уключаючы llama.cpp (CPU/GPU), Hugging Face Transformers, ExLlamaV2, VLLM, і нават выснова браўзэра праз Transformers.js. Уключае ў сябе клонаваньне голасу праз профілі гукарэжысэра, запісаныя ў JSON.

TADA (Text-Acoustic Dual Alignment) ад Hume AI — гэта новая мадэль TTS, якая выключае галюцынацыі з дапамогай новай архітэктуры падвойнага выраўноўвання, пабудаванай на Llama 3. 2. Даступная ў 1B (англійскай) і 3B (мультымоўнай) версіях, TADA дасягае RTF 0. 09 — 5x хутчэй, чым параўнальнае LLM-заснаванае TTS мадэлі. Яна падтрымлівае да 700 секундаў гукавога кантэксту і вырабляе эмацыянальна выразную мову з нулявымі галюцынацыямі па стандартных эталонах.

VibeVoice ад Microsoft прадастаўляецца ў двух варыяцыях: мадэль 1. 5B для доўгатэрміновага зместу (да 90 хвілін, 4 дынамікі) і мадэль Realtime 0. 5B для стрымінгу з ~ 200 мс першай гукавой латэнцыі. Варыянт 1. 5B выдатна падыходзіць для падкастаў і аўдыёкніг з доўгімі пераходамі. Заўвага: Microsoft выдаліў код TTS са сховішча і стварыў аўдыё з гукавымі абвяржэннямі AI.

Pocket TTS ад Kyutai (творцы Moshi) - гэта кампактная мадэль пераўтварэння тэксту ў мову з 100М параметраў, якая пераўзыходзіць сябе па магутнасці. Яна працуе эфектыўна на працэсары, падтрымлівае кланаваньне голасу з аднаго аўдыёсэмплю і выпрацоўвае натуральна гучаючую мову. Маленькі памер мадэлі робіць яе ідэальнай для разьмяшчэньня на краі і ў асяроддзях з нізкімі рэсурсамі.

Kitten TTS ад KittenML - гэта вельмі лёгкая мадэль пераўтварэння тэксту ў мову, пабудаваная на ONNX. З варыянтамі ад 15М да 80М параметраў (25- 80 МБ на дыску), яна забяспечвае высокакваліфікаваны сінтэз голасу на ЦПУ без патрэбы ў ГП. Ёсць 8 убудаваных голасаў, рэгулюемая хуткасць гаворкі і ўбудаваная папярэдняя апрацоўка тэксту для лікаў, валют і адзінак. Ідэальна падыходзіць для разгортвання на перыферыі і праграм з нізкімі затрымакамі.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.