IA Текст к речи

Кокоро — это модель из 82 миллионов параметров, которая бьет намного выше своего класса веса. Несмотря на свой маленький размер, она производит удивительно естественную и экспрессивную речь. Кокоро поддерживает множество языков, включая английский, японский, китайский и корейский, с разнообразными экспрессивными голосами. Она работает невероятно быстро, генерируя звук почти 100x быстрее, чем в реальном времени на GPU.

Piper — это легковесный текстово-пиковый двигатель, разработанный Rhasspy и использующий архитектуры VITS и гортани. Он работает полностью на процессоре, что делает его идеальным для кабельных устройств, автоматизации дома и приложений, требующих оффлайн TTS. С более чем 100 голосами на 30+ языках Piper произносит естественную речь при скорости в реальном времени даже на Raspberry Pi 4.

VITS (Varional Interitional Affections with contractive education for end-to-Speech) является параллельным методом TTS, который генерирует больше натурального звукового звука, чем нынешние двухступенчатые модели. Он принимает вариативные выводы, дополненные нормализующими потоками и состязательным процессом подготовки, что позволяет значительно улучшить естественность.

MeloTTS MySell.ai — многоязычная библиотека TTS, поддерживающая английский (American, British, Indian, Australian), испанский, французский, китайский, японский и корейский языки.

Bark by Suno — это трансформаторная модель, которая может генерировать очень реалистичную, многоязычную речь, а также другие аудио, такие как музыка, фоновый шум и звуковые эффекты. Она может производить невербальные коммуникации, такие как смех, вздыхание и плачущие. Барк поддерживает более 100 речевых пресетов и 13+ языков.

Bark Small — дистиллированная версия модели Bark, которая обменивает некоторое качество звука на значительно более быструю скорость вывода и более низкие требования к памяти.

CosyVoice 2 от Alibaba's Tongyi Lab достигает такого же качества речи, как у человека, с очень низкой задержкой, что делает его идеальным для применения в реальном масштабе времени. Он использует конечный скалярный квантизационный подход для потокового синтеза и поддерживает клонирование с нулевым голосом, кросс-язычный синтез и тонкий эмоциональный контроль. Он превосходит многие коммерческие системы TTS в субъективных оценках.

Dia by Nari Labs — модель 1,6B, разработанная специально для налаживания диалога с участием нескольких ораторов. Она может создавать естественный звуковой диалог между двумя ораторами с соответствующим поворотом, прозодией и эмоциональным выражением. Диа идеально подходит для создания контента в стиле подкаста, диалогов с аудиокнигаминтерактивной диалоговой AI.

Parler TTS — это модель, использующая описание естественного языка для контроля генерируемой речи. Вместо того, чтобы выбирать из предварительно набранных голосов, вы описываете голос, который вы хотите (например, «теплый женский голос с небольшим британским акцентом, говорит медленно и ясно») и Парлер создает речь, соответствующую этому описанию. Это делает его уникальным гибким для творческих приложений.

Индик Парлер ТТС от AI4Bharat распространяет архитектуру Парлера на индийские языки, создавая естественную речь на тамильском, бенгальском, маратском, гуджаратском, Каннаде, Пенджаби, одиа, ассамезе, хинди, Телугу, Малаяламе и английском. Как и Парлер, вы описываете голос, который вам нужен, на простом языке, и модель соответствует ему — не требуется заранее сформулированных голосов.

HanomTan TTS — открытая тайская тексто-пиковая модель, построенная на многоязычной архитектуре YourTTS.

IndexTTS-2 — это усовершенствованная система текстово-пикового синтеза, которая превосходит нулевой голосовой синтез с тонкозернистым эмоциональным контролем. Она может генерировать речь с конкретными эмоциональными тонами, такими как счастливые, печальные, злые или испуганные, не требуя эмоциональных данных. Модель использует эмоциональные векторы для точного контроля эмоционального выражения генерируемой речи.

Spark TTS от SparkAudio — модель, сочетающая клонирование голоса с контролируемыми эмоциями и стилем речи. Используя только 5 секунд эталонного звука, он может клонировать голос и затем генерировать речь с различными эмоциями, скоростью и стилями при сохранении клонированной голосовой идентичности. Spark TTS использует быструю систему управления.

GPT-SOVITS сочетает в себе модель языка в стиле GPT с SOVITS ( < < Поющий голос > > через < < Перевод > > и < < Обобщение > > ) для мощного клонирования малоразмерного голоса. С помощью пяти секунд эталонного звука он может точно клонировать голос и генерировать новую речь, сохраняя уникальные характеристики оратора. Он преуспевает в синтезе как речи, так и голоса.

Орфей представляет собой крупномасштабную модель, позволяющую получать эмоциональное выражение на уровне человека. Он обучен более чем 100 000 часов разнообразных речевых данных, он преуспевает в создании речи с естественными эмоциями, акцентом и стилем речи. Орфей может производить речи, которые практически неотличимы от человеческих записей.

Chatterbox Resemble AI — это передовая модель клонирования голоса с нулевым снимком. Она может с удивительной точностью воспроизводить любой голос из одного звукового образца, улавливая не только стиль речи, но и эмоциональный стиль и эмоциональные нюансы. Chatterbox также содержит тонкий эмоциональный контроль, позволяющий скорректировать эмоциональный тон генерируемой речи независимо от голосовой идентичности.

TTS — это авторегрессивная система текстовых сообщений, которая определяет качество звука над скоростью. Она использует архитектуру DALL-E, чтобы генерировать очень естественную речь с превосходным прозодиозом и сходством громкоговорителей. Хотя и медленнее, чем многие альтернативы, Tortoise производит некоторые из наиболее реалистичных синтетических речей, имеющихся в экосистеме с открытым исходным кодом.

StyleTTS 2 достигает синтеза TTS на уровне человека, сочетая распространение стиля с состязательным обучением с использованием моделей большого языка речи. Он генерирует самую естественную звукозвуковую речь среди однопиковых моделей, соперничая с человеческими записями. StyleTS 2 использует модель стиля распространения для охвата всего диапазона вариаций речи человека.

OpenVoice y MySheell.ai позволяет мгновенно клонировать голос с гранулярным контролем над стилем голоса, эмоциями, акцентом, ритмом, паузаминтонацией. Он может клонировать голос из короткого аудиоклипа и генерировать речь на нескольких языках, сохраняя при этом личность оратора. OpenVoice также функционирует как голосовой преобразователь, что позволяет в реальном времени трансформировать голос.

Qwen3-TTS представляет собой модель 1,7 миллиарда параметров, разработанную командой Alibaba's Qwen. Она поддерживает два режима: предопределённые голоса с эмоциональным контролем (9 ораторов) и уникальный режим голосового дизайна, в котором вы описываете голос, который вы хотите на естественном языке. Она охватывает 10 языков с высокой экспрессивностью и естественной прозодией.

VieNeu-TTS-v2 является параметром 300M вьетнамского-первого TTS, тренированным на 10 000 + часов двуязычных данных. Он поддерживает бесперебойную комбинацию кода en-vi, 7 предопределённых голосов, охватывающих северный и южный акцент, и мгновенное клонирование голоса с 3-5 секунд эталонного звука. Запустит полностью на процессор с помощью GGUF Q4look + ONNX аудиодекодера — нет необходимости в GPU, поколения заканчиваются за ~7 секунд.

Sesame CSM (Conversational Response Model) — модель 1 миллиарда параметров, разработанная специально для создания разговорной речи. Она моделирует естественный образ человеческого разговора, включая время поворотов, ответные реакции, эмоциональные реакции и разговорный поток. CSM генерирует звук, который звучит как естественный человеческий разговор, а не как синтетическая речь.

Chatterbox Turbo Resemble AI - это 350M усовершенствование параметра до Chatterbox, доставляя до 6x в режиме реального времени с латентностью до 200 м. Он поддерживает паралингуистические метки, такие как [смех], [кашель] и [хуки] прямо в тексте. Включая Perth Water маркирование на всех генерируемых аудио для отслеживания происхождения.

VoxCPM 1.5 от OpenBMB — новая модель без символики TTS, которая работает в непрерывном пространстве, а не в дискретных символах. Она производит высокодостоверное аудио 44,1kHz, поддерживает клонирование с нулевым голосом с 3 до 10 секунд и поддерживает последовательность между пунктами. Клонирование на разных языках позволяет применять английский голос к китайской речи и наоборот.

Kani-TTS-2, NineNineSix () — модель параметров, построенная на хребте Жидкого AI LFM2 с NVIDIA Nanocodec. Он работает всего в 3GB VRAM и выпускает ~10 секунд речи за 2 секунды на A100 (RTF 0.2). В настоящее время публика выпускает только на английском языке контрольно-пропускной пункт "kani-tts-2-en" и не разоблачает крючок, необходимый для клонирования голоса, используя Thatterbox / IndexTS2 / F5-TTS для клонирования, или Kokoro / MeloTTS для неанглийских.

OuteTTS расширяет большие языковые модели с текстово-развивающимися возможностями при сохранении оригинальной архитектуры. Он поддерживает несколько подсказок, включая ламу.cpp (CPU/GPU), Hagging Face Transformers, ExLamaV2, VLM, и даже браузеры с помощью transformers.js.

VibeVoice Microsoft состоит из двух вариантов: модели 1,5B для длинноформатного контента (до 90 минут, 4 оратора) и модели в реальном времени 0,5B для ретрансляции с ~200 мс первой звуковой латентностью. Вариант 1.5B превосходит подкасты и аудиокниги с последовательности громкоговорителей на длинных отрывках. Примечание: Microsoft удалил код TTS из хранилища и создал звук, включающий звуковые диски AI.

Pocket TTS Kyutai (создатель Moshi) — компактная модель параметров 100M, которая значительно превышает свой вес. Она эффективно работает на процессоре, поддерживает клонирование с нулевым голосом из одного звукового образца и производит естественную звуковую речь. Малый размер модели делает ее идеальной для креативного развертывания и малой ресурсной среды.

Kitten TTS KittenML — это сверхлегкая модель, построенная на ONNX. С вариантами от 15M до 80M параметров (25-80 MB на диске), она обеспечивает высококачественное голосовое синтезирование на процессоре, не требуя GPU. Особенности 8 встроенных голосов, корректируемая скорость речи и встроенная предварительная обработка текстов для чисел, валют и единиц. Идеалы для креативного развертывания и прикладных программ с низкой устойчивостью.

CosyVoice3 — последняя эволюция команды Alibaba FunAudioLM. В ней содержится двусторонний вывод с ~150 мс латентности, контроль на основе обучения для эмоций/скорости/объема, и улучшенное сходство громкоговорителей для нулевого клонирования. Поддерживает 9 языков плюс 18 китайских диалектов. Вариант RL с корректировкой обеспечивает современную прозодию.

NAMAA Saudi TTS is a Saudi Arabic fine-tune of Resemble AI's ChatterboxMultilingual. Trained by NAMAA Space on authentic Saudi-dialect speech, it produces natural Modern Standard Arabic and Saudi colloquial pronunciation that generic multilingual models cannot match. Inherits Chatterbox's zero-shot voice cloning and emotion control via reference audio prompts. The first open-weights Arabic TTS deployed on TTS.ai.

Darin-TTS-1.7B-Cross by FINAL-Bench — исследовательский вариант Qwen3-TTS-1.7B, в котором 84 разговорника-FN tensors (8,6 %) смешиваются с α=3 % с совпадающими наконечниками Qwen3-1.7B-Base. Смесь построена без переподготовки и производит заметное поперечное клонирование голоса на корейском, английском, японском и китайском языках.

MOSS-TTSD v1.0 от OpenMOSS представляет собой 7B-диаграммную модель диалога, которая продолжает вести переговоры с короткой звуковой скоростью. Поддержка до пяти одновременных ораторов через [S1]/[S2] метки, ноль голосовое клонирование с 3-10-х справочных звуков и до 60 минут последовательного многооборотного диалога на 20 языках. Отличимое от MOSS-TTS — TTSD специализируется на подкастах/аудиодневниках/перехватах.

Ming-omni-tts-0,5B путем включения AI представляет собой компактную омодальную модель речи, построенную на плотном позвоночнике BailingMM с звуковым декодером, позволяющим сравнивать звуки. Выпуск 44,1kHz (ближе к качеству компакт-диска), поддерживает клонирование с нулевым голосом из 3+ второй ссылки и включает встроенный эмоциональный/диалектический/БГМ контроль через инструкции JSON. Отличная стабильность — 0,83% WER по китайским контрольным параметрам.

MOSS-TTS-Nano-100M представляет собой компактный 100-м-параметрный вариант семейства MOSS-TTS, в котором используется архитектура отсрочивающего трансформатора. Променяет пиковое качество модели 8B на ~80x меньшего веса и значительно меньше на запрос VRAM, что делает его пригодным для свободного и высокопроизводительного развертывания. Тот же 20-язычный охват.