AI мәтіннен сөйлеугеName

Kokoro - 82 миллион параметрлі мәтіннен сөйлеуге көшіру моделі, ол өз салмағының класынан әлдеқайда жоғары. Шағын өлшеміне қарамастан, ол өте табиғи және өрнекті сөйлеуді шығарады. Kokoro ағылшын, жапон, қытай және корей сияқты бірнеше тілдерді қолдайды, әртүрлі өрнекті дауыстарды шығарады. Ол өте жылдам жұмыс істейді - графикалық процессордағы шын уақыттағыдан 100 есе жылдам.

Piper - Rhasspy жасаған, VITS және larynx архитектураларын қолданатын жеңіл мәтін- дыбыс аудару тетігі. Ол тек процессорда жұмыс істейді, сондықтан Edge құрылғылары, үй автоматтандыруы және офлайн TTS қажет қолданбалар үшін өте қолайлы. 30- дан астам тілдегі 100- ден астам дауысымен Piper Raspberry Pi 4- те де шынайы дыбыстарды шын уақыт режимінде жеткізеді.

VITS (Variation Inference with adversarial learning for end- to- end Text- to- Speech) - бұл қазіргі екі сатылы үлгілерге қарағанда табиғи дауысты шығаратын параллельді, аясынан аяғына дейінгі TTS әдісі. Ол табиғилықты едәуір жақсарту үшін, нормаластыру ағымдары мен қарсыласу оқыту процесімен толықтырылған вариациялық инференцияны қолданады.

MyShell. ai- ның MeloTTS - ағылшын (американдық, британдық, үнді, австралиялық), испан, француз, қытай, жапон және корей тілдерін қолдайтын көп тілді TTS жиыны. Бұл өте жылдам, тек процессормен мәтіндерді шын уақытпен өңдей алады. MeloTTS өндірістік мақсатта қолданылады және процессор мен графикалық процессордың да мәліметтерін пайдаланады.

Suno- ның Bark бағдарламасы - бұл трансформер негізіндегі мәтіннен дыбысқа көшіру моделі, ол өте шынайы, көп тілді сөйлеуді және басқа да дыбыстарды (мысалы, музыка, фон шуы, дыбыс эффекттері) шығара алады. Бұл күлу, үңілу, жылау сияқты сөзсіз сөйлеуді де шығара алады. Bark 100- ден астам дыбыс шығарғыштарды және 13- тан астам тілдерді қолдайды.

Bark Small - Bark үлгісінің қысқартылған нұсқасы, ол дыбыс сапасын төмендетіп, одан да жылдам шығару жылдамдығын және жады қажеттілігін төмендетеді. Бұл Bark- тың эмоциялар, күлкі және бірнеше тілдермен сөйлеу қабілетін сақтайды.

Alibaba' s Tongyi Lab- тың CosyVoice 2- і адаммен салыстыруға болатын дыбыс сапасына қол жеткізеді, бірақ өте төмен артта қалуымен, бұл оны нақты уақыт қолданбаларына өте ыңғайлы етеді. Ол ағын синтезі үшін шекті скалярлық кванттау тәсілін қолданады және нульдік клондау, тіларалық синтез, және эмоциялық бақылауды қолдайды. Ол субъективті бағалауда көптеген коммерциялық дыбыс- сөз жүйелерін басып озады.

Nari Labs- тің Dia бағдарламасы - көп сөйлеушілердің диалогын жасауға арналған 1. 6B параметрлі мәтін- дыбыс аудару үлгісі. Ол екі сөйлеуші арасындағы табиғи дауыспен, дұрыс ауысу, прозодия, эмоцияларды білдіру арқылы әңгіме құруға мүмкіндік береді. Dia подкаст стиліндегі мазмұнды, аудиокітап диалогтарын және интерактивті сөйлеу ДК- ны құруға өте қолайлы.

Parler TTS - бұл табиғи тілдің дыбыс сипаттамаларын қолданып, сөзді құрайтын мәтін- дыбыс интерпретациялау моделі. Алдын- ала орнатылған дыбыстарды таңдаудың орнына, Сіз өзіңіздің тілегіңізді сипаттай аласыз (мысалы, "қызыл түсті, британ акцентімен, баяу және анық сөйлеп тұрған қыздың дауысы") және Parler осы сипаттамаға сәйкесті сөзді құрады. Бұл оны шығармашылық қолданбаларда ерекше ыңғайлы етеді.

Zhipu AI- ның GLM- TTS - Llama архитектурасына негізделген, ағын сәйкестікті қолданатын мәтін- дыбыс аудару жүйесі. Бұл ашық көздегі TTS үлгілерінің ішіндегі ең төменгі символ қателік деңгейіне ие, яғни ең дәл дыбыс аударуды қамтамасыз етеді. GLM- TTS ағылшын және қытай тілдерін қолдайды, 3- 10 секундтық аудио үлгілерден дыбыстарды клондау мүмкіндігі бар.

IndexTTS- 2 - бұл мәтінді сөйлеуге айналдыру жүйесі, ол эмоционалды қасиеттерді бақылаумен, 0- ші ретті синтездеумен ерекшеленеді. Бұл жүйе эмоционалды қасиеттерді үйрету деректері қажетсіз, көңілді, қайғылы, ашуланған, қорқынышты сияқты эмоционалды дыбыстарды шығара алады. Бұл модель эмоционалды қасиеттерді реттеу үшін эмоциялық векторларды қолданады.

SparkAudio- ның Spark TTS - бұл дыбыстарды клондау мен сөйлеу стилін басқаруды біріктіретін мәтін- сөйлеу моделі. Тек 5 секундтық сілтемелік аудионы пайдаланып, дыбыстарды клондап, әртүрлі эмоционалдылық, жылдамдық, стильдермен сөйлеуді жасауға болады, бірақ клондалған дыбыстардың ұқсастығы сақталады. Spark TTS сұрау негізіндегі басқару жүйесін қолданады.

GPT- SoVITS GPT- стиліндегі тіл моделін SoVITS (Singing Voice Inference via Translation and Synthesis) - мен біріктіріп, бірнеше реттік дауысты клондау үшін қолданылады. 5 секундтық сілтемелік аудиомен, дыбысты дәл клондап, дыбыс шығарушының ерекше қасиеттерін сақтай отырып, жаңа дыбыс шығара алады. Бұл дыбыс шығару мен ән айтуды синтездеуде өте тиімді.

Orpheus - бұл адам деңгейіндегі эмоцияларды жеткізетін кең көлемді мәтін- сөйлеу моделі. 100, 000 сағаттан астам түрлі сөйлеу деректері бойынша даярланған, ол табиғи эмоцияларды, баса айтуды және сөйлеу стилін қамтитын сөйлеуді шығаруға қабілетті. Orpheus - адам жазбаларынан мүлдем өзгеше сөйлеуді шығара алады.

Resemble AI жасаған Chatterbox - бұл ең соңғы дыбыстарды клондау үлгісі. Ол бір аудио үлгіден кез келген дыбысты өте дәл репликациялай алады, тек дыбысын ғана емес, сөйлеу стилін және эмоциялық нюанстарын да анықтайды. Chatterbox сондай- ақ эмоцияларды басқаруды да қамтиды, бұл сізге генерацияланған сөйлеудің эмоциялық тонын дыбыстан бөлек реттеуге мүмкіндік береді.

Tortoise TTS - жылдамдықтан гөрі дыбыс сапасын басты орынға қоятын, авторегрессивті, көп дауысты мәтіннен сөйлеуге көшірмелеу жүйесі. Ол DALL- E- ден үлгі алып, өте табиғи дыбыстарды, өте жақсы прозодия мен сөйлеушінің ұқсастығын шығарады. Көптеген альтернативтерге қарағанда баяу болса да, Tortoise ашық кодты экожүйедегі ең шынайы синтетикалық сөйлеуді шығарады.

StyleTTS 2 стилді диффузия мен үлкен сөйлеу тілінің үлгілерін қолданып, қарсыласу арқылы үйрету арқылы адам деңгейіндегі тілдік синтездеуді орындайды. Ол бір сөйлеушінің моделі арасында ең табиғи естілетін сөйлеуді шығарады, бұл адам дыбыс жазуына ұқсас. StyleTTS 2 стилді диффузия негізінде модельдеу арқылы адамның сөйлеуінің барлық ауқымын қамтиды.

OpenVoice by MyShell. ai дыбыс стилін, эмоциясын, акцентін, ритмін, тоқтап қалуын және интонациясын егжей- тегжейлі бақылаумен дауысты дереу клондауға мүмкіндік береді. Ол қысқа аудио клиптерден дауысты клондап, сөйлеушінің жеке басын сақтай отырып, бірнеше тілде сөйлеуді жасай алады. OpenVoice сонымен қатар дауысты аударғыш ретінде де жұмыс істейді, дауысты шын уақытында аударуға мүмкіндік береді.

Qwen3- TTS - Alibaba- ның Qwen командасының 1, 7 миллиард параметрлі мәтіннен сөйлеуге көшіру үлгісі. Ол үш режімді қолдайды: эмоциялық басқарумен алдын- ала орнатылған дауыстар (9 дыбыс шығарғыш), 3 секундтық аудиодан дауысты клондау, және тілдің табиғи сипатын сипаттайтын ерекше дыбыс дизайн режімі. Ол 10 тілді жоғары өрнектілікпен және табиғи прозодиямен қамтиды.

Sesame CSM (Conversational Speech Model) - бұл 1 миллиард параметрден тұратын сөйлеу үлгісі. Ол адам сөйлеуінің табиғи үлгілерін, соның ішінде ауысу уақытын, кері арнаның жауаптарын, эмоциялық реакцияларды және сөйлеу ағынын модельдейді. CSM синтетикалық сөйлеуден гөрі табиғи адам сөйлеуіне ұқсас дыбыстарды шығарады.

Chatterbox Turbo by Resemble AI - бұл Chatterbox-тың 350М параметрлік жаңартуы, 200 мс-тан төменгі кешіктіруімен 6x-қа дейінгі шынайы жылдамдықпен жұмыс істейді. Ол мәтіннен тікелей [лаugh], [cough], және [chuckle] сияқты паралингвистикалық тегтерді қолдайды. Барлық құрылған аудиода Perth су белгісі бар, бұл оның шығу тегі туралы мәлімет береді.

Zyphra- ның Zonos v0. 1 - бұл 1. 6B параметрлі модель, ол қуаныш, ашу, қайғы, қорқыныш және таңқалу сезімдерін басқару үшін слайдерлермен жабдықталған. Ол трансформатор мен жаңа SSM (қалып- кеңістік үлгісі) нұсқасын ұсынады. 10- 30 секундтық сілтемелік аудиодан 0- ші ұрыста дауысты клондау арқылы 200K+ сағат көп тілді сөйлеуден үйренген.

Nari Labs- тің Dia2 - бұл Dia- ның 1B және 2B параметрлері бар, арналы жаңартуы. Ол алғашқы бірнеше токеннен бастап дыбыс синтезін бастайды, бұл оны шын уақытты дыбыс агенттері мен сөйлеу- сөйлеу каналдары үшін өте қолайлы етеді. [S1] / [S2] тегтері мен (лаughs), (coughs) сияқты паралингвистикалық белгілерді қолданып көп сөйлеушінің диалогын қолдайды.

OpenBMB- тің VoxCPM 1. 5 - бұл дискреттік жетондардың орнына жалған кеңістікте жұмыс істейтін, токенизерсіз жаңа TTS үлгісі. Ол жоғары сапалы 44. 1 кГц дыбыс шығарады, 3- 10 секунд ішінде дыбыстарды клондауды қолдайды, әрі абзацтар арасында біркелкілікті сақтайды. Тіларалық клондау ағылшын дыбысын қытайша сөйлеуге қолданып, керісінше.

OuteTTS мәтінді сөйлеуге айналдыру мүмкіндіктерімен ірі тіл модельдерін кеңейтеді, бірақ бастапқы архитектурасын сақтайды. Ол llama. cpp (CPU/GPU), Hugging Face Transformers, ExLlamaV2, VLLM және тіпті Transformers. js арқылы браузердің тұжырымдарын қолдайды. JSON түрінде сақталған дыбыс шығарушы профилі арқылы дауысты клондау мүмкіндігі бар.

Hume AI- ның TADA (Text- Acoustic Dual Alignment) дегені Llama 3. 2 негізінде жасалған жаңа қосарланған туралау архитектурасы арқылы галлюцинацияларды жоятын жаңа TTS моделі. 1B (ағылшын) және 3B (көп тілді) нұсқалары бар TADA LLM негізіндегі TTS модельдерінен 0. 09 - 5 есе жылдам RTF- ды орындайды. Ол 700 секундқа дейінгі аудиоконтексті қолдайды және стандартты ережелер бойынша галлюцинациясыз эмоциялық түрде сөйлеуді шығарады.

Microsoft VibeVoice екі түрі бар: 1. 5B моделі ұзақ мазмұн үшін (90 минутқа дейін, 4 динамик) және Realtime 0. 5B моделі ~200 мс алғашқы дыбыс кешігіп шығуымен. 1. 5B түрі подкасттар мен аудиокітаптарда дыбыс берушінің ұзақ фрагменттердегі біркелкілігін қамтамасыз етеді. Ескерту: Microsoft TTS кодын репозиториінен алып тастады, ал құрылған дыбыстар дыбыс шығаратын AI- дан бас тартуларды қамтиды.

Pocket TTS Kyutai (Moshi- ның жасаушылары) жасаған, салмағы 100М параметрлік, компактті мәтіннен сөйлеуге көшіру үлгісі. Процессордың қуатын тиімді пайдаланады, бір аудио үлгісінен дыбыстарды клондауды қолдайды, табиғи дыбыстарды шығарады. Үлгінің кішігірім өлшемі оны ресурстары аз орталарда қолдануға өте қолайлы етеді.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.