Tekst AI do mowy

Kokoro jest 82 miliony parametrów tekst-na-speech model, który uderza znacznie powyżej klasy wagi. Pomimo jego malutkich rozmiarów, produkuje niezwykle naturalne i wyrażające mowy. Kokoro obsługuje wiele języków, w tym angielski, japoński, chiński i koreański z różnymi wyrażającymi się głosami. Działa niesamowicie szybko — generuje audio prawie 100x szybciej niż w czasie rzeczywistym w GPU.

Piper jest lekkim silnikiem tekst-to-speech opracowanym przez Rhaspy, który używa architektury VITS i gardła. Jest w pełni działa na procesorze, co sprawia, że jest idealny dla urządzeń krawędziowych, automatyzacji domowej i aplikacji wymagających offline TTS. Z ponad 100 głosów w 30+ językach, Piper dostarcza naturalnie dźwiękowe mowy przy prędkościach w czasie rzeczywistym, nawet na Raspberry Pi 4.

VITS (Wariacyjne wyrażenie z uczeniem się wzajemnie do końca słowa tekstu) jest równoległą metodą TTS od końca do końca, która generuje bardziej naturalne dźwięki dźwiękowe niż obecne dwustopniowe modele. Przyjmuje variacyjne wynik wzmacniany wraz z przepływami normalizacyjnymi i procesem szkolenia sprzecznego, osiągając znaczącą poprawę naturalności.

MeloTTS by MyShell.ai – wielojęzyczna biblioteka TTS obsługująca angielski (amerykański, brytyjski, indyjski, australijski), hiszpański, francuski, chiński, japoński i koreański. Jest to niezwykle szybkie, przetwarzając tekst przy niemal szybkości w czasie rzeczywistym tylko na CPU. MeloTTS jest zaprojektowany do produkcji i obsługuje zarówno procesor i GPU inference.

Bark by Suno jest modelem transformatora tekst-to-audio, który może generować wysoce realistyczne, wielojęzyczne przemówienie, jak również inne dźwięki, takie jak muzyka, hałas tła i efekty dźwiękowe. Może produkować niewerbalne komunikacje, takie jak śmiech, wzdychanie i płacz. Bark obsługuje ponad 100 głośników i 13+ języków.

Bark Small jest destylowaną wersją modelu Bark, który wymienia jakość dźwięku na znacząco szybszą prędkość wyników i niższe wymagania pamięci. Zachowuje zdolność Bark do generowania mowy z emocjami, śmiechem i wieloma językami.

CosyVoice 2 by Alibaba Tongyi Lab osiąga porównywalną z ludźmi jakość mowy z niezwykle niską latencją, co sprawia, że jest idealny dla aplikacji w czasie rzeczywistym. Wykorzystuje skończone podejście skalarne kwantyzacji do strumieniowania syntezy i wspiera klonowanie głosu zerowo, syntezę krzyżową oraz drobno ziarna kontrolę emocji. Przekonuje wiele komercyjnych systemów TTS w subiektywnych ocenach.

Dia by Nari Labs jest modelem 1.6B, przeznaczonym specjalnie do tworzenia dialogu wielogłośników. Może wywoływać naturalnie dźwiękowe rozmowy między dwoma głośnikami o odpowiedniej zmianie, prozodii i wyrażeniu emocjonalnym. Dia jest idealna do tworzenia treści w stylu podcast, dialogów audiobooków i interaktywnych konwersacyjnych AI.

Parler TTS jest modelem tekst-to-speech, który używa naturalnych opisów głosowych do kontroli wygenerowanej mowy. Zamiast wyboru z ustawionych głosów, opisujesz głos, który chcesz (np. "grzeczny głos kobiety z niewielkim brytyjskim akcentem, mów powoli i wyraźnie"), a Parler generuje mowy odpowiadające temu opisowi. To sprawia, że jest on wyjątkowo elastyczny dla twórczych aplikacji.

GLM-TTS przez Zhipu AI jest systemem tekst-to-speech zbudowanym na architekturze Llama z dopasowaniem przepływu. Osiąga najniższą częstotliwość błędów znaków w modelach TTS otwartego źródła, co oznacza, że produkuje najbardziej dokładną wymówkę. GLM-TTS obsługuje angielski i chiński z klonowaniem głosu od 3-10 sekundowych próbek audio.

IndexTTS-2 jest zaawansowanym systemem tekst-na-speech, który wyróżnia się w zerowej syntezie głosu z wybitną kontrolą emocji. Może generować mowy z specyficznymi tonami emocjonalnymi, takimi jak szczęśliwy, smutny, wściekły lub lękający się, bez konieczności wymagania danych szkoleniowych specyficznych dla emocji. Model wykorzystuje wektory emocji, aby dokładnie kontrolować emocjonalne wyrażenie wygenerowanej mowy.

Spark TTS by SparkAudio jest modelem tekst-to-speech, który łączy klonowanie głosu z sterowaniem emocji i stylu mowy. Za pomocą zaledwie 5 sekund dźwięku referencyjnego, może sklonować głos, a następnie generować mowy z różnymi emocjami, prędkościami i stylami przy jednoczesnym utrzymaniu klonowanej tożsamości głosowej. Spark TTS używa szybkiego systemu sterowania.

GPT-SoviTS łączy modelowanie języka w stylu GPT z SoVITS (Singing Voice Inference through Translation and Syntesis) do potężnego klonowania głosu kilkakrotnie. Dzięki niemal 5 sekundom dźwięku referencyjnego, może dokładnie klonować głos i generować nowe przemówienie przy zachowaniu wyjątkowych cech głośnika. Wyróżnia się zarówno w głośnych jak i śpiewających syntezach głosu.

Orfeusz jest dużą skalą modelu tekstu na język, który osiąga wyraz emocjonalny na poziomie człowieka. Szkolony na ponad 100 000 godzin zróżnicowanych danych mowy, wyróżnia się w generowaniu mowy z naturalnymi emocjami, naciskiem i stylami mowy. Orfeusz może wytwarzać mowy, które jest praktycznie nierozróżnione od nagrań ludzkich.

Chatterbox przez Resemble AI jest najnowszym zerowym modelem klonowania głosu. Może replikować dowolny głos z pojedynczej próbki audio z niezwykłą dokładnością, przechwycić nie tylko tymbre, ale także styl wypowiedzi i emocjonalne nuansy. Chatterbox posiada również ładną kontrolę emocji, pozwalając dostosować emocjonalny ton wygenerowanej mowy niezależnie od tożsamości głosowej.

Tortoise TTS to automatycznie regresywny wielogłosowy system tekst- do-speech, który priorytetowo określa jakość dźwięku nad prędkością. Wykorzystuje architekturę zainspirowaną DALL-E do generowania wysoce naturalnej mowy z doskonałą podobieństwem prozody i głośnika. Chociaż wolniej niż wiele alternatyw, Tortoise wytwarza niektóre z najbardziej realistycznych syntetycznych mów dostępnych w otwartym ekosystemie.

StyleTTS 2 osiąga syntezę TTS na poziomie ludzkim, łącząc dyfuzję stylową z treningiem sprzecznym przy użyciu dużych modeli języka mowy. Generuje najbardziej naturalną przemówienie dźwiękowe wśród modeli pojedynczych mówców, rywalizując ludzkie nagrania. StyleTTS 2 wykorzystuje modele stylowe oparte na dyfuzji, aby uchwycić całą gamę ludzkich zmiennych mowy.

OpenVoice by MyShell.ai umożliwia natychmiastowe klonowanie głosu z granularną kontrolą stylu głosu, emocji, akcentu, rytmu, pauzy i intonacji. Może sklonować głos z krótkiego klipu audio i generować mowy w wielu językach przy jednoczesnym utrzymaniu tożsamości głośnika. OpenVoice funkcjonuje również jako konwerter głosu, pozwalający na transformację głosu w czasie rzeczywistym.

Qwen3-TTS jest 1,7 mld parametrów modelu tekstu do szpiku z zespołu Alibaby Qwen. Obsługuje trzy tryby: ustawione głosy z kontrolą emocji (9 głośników), klonowanie głosu z zaledwie 3 sekundy dźwięku oraz unikalny tryb projektowania głosu, w którym opisujesz głos, jaki chcesz w języku naturalnym. Obejmuje on 10 języków o wysokiej ekspresji i naturalnej prozodii.

Sezam CSM (Conversational Speech Model) jest modelem 1 mld parametrów zaprojektowanym specjalnie do generowania rozmowy konwersacyjnej. Modeluje naturalne wzory ludzkiej rozmowy, w tym przechwytywanie czasu, reakcje zamienne, reakcje emocjonalne i przepływ konwersacyjny. CSM generuje dźwięk, który brzmi jak naturalna ludzka rozmowa, a nie syntetyczna.

Chatterbox Turbo przez Resemble AI jest parametrem 350M upgrade do Chatterbox, dostarczając do 6x prędkości w czasie rzeczywistym z latencją sub-200ms. Obsługuje paralinguistyczne tagi jak [sam], [kaszel] i [cuckle] bezpośrednio w tekście. Zawiera Perth wodny marking na wszystkich generowanych audio do śledzenia provencji.

Zonos v0.1 przez Zyfra jest modelem parametrów 1.6B, w którym znajduje się sprawna kontrola emocji z suwakami dla szczęścia, gniewu, smutku, strachu i niespodzianki. Oferuje zarówno Transformer, jak i nowy model SSM (model stanu-przestrzeni). Szkolony na 200K+ godzin wielojęzycznej mowy z zerowym klonowaniem głosu od 10-30 sekund odwrotnego dźwięku.

Dia2 przez Nari Labs jest streaming-pierwsza upgrade do Dia, dostępna w wariantach parametrów 1B i 2B. Zaczyna syntezować dźwięk z pierwszych kilku tokenów, co sprawia, że jest idealny dla sygnałów głosowych w czasie rzeczywistym i rurociągów mowy do języka. Wspomaga dialog wielogłośników z [S1]/[S2] i paralinguistycznymi wskazówkami jak (śmiech), (kaszlu).

VoxCPM 1.5 przez OpenBMB jest nowoczesnym modelem TTS, który działa w stałej przestrzeni, a nie w dyskretnych tokenach. Wytwarza wysokie wiarygodności 44.1kHz audio, obsługuje klonowanie głosu zerowego od 3 do 10 sekund i utrzymuje spójność pomiędzy paragrafami. Krzyżowy klonowanie pozwala na stosowanie angielskiego głosu do chińskiego mowy i odwrotnie.

OutetTS rozszerza duże modele językowe o możliwości tekst-na-speech przy zachowaniu oryginalnej architektury. Obsługuje wiele programów, w tym lama.cpp (CPU/GPU), Hugging Face Transformers, ExLlamaV2, VLLM, a nawet wynik przeglądarki za pomocą Transformers.js. Funkcje zerowe klonowanie głosu poprzez profile głośników zapisane jako JSON.

TADA (Tekst-Acoustic Dual Rating) przez Hume AI jest podstawowym modelem TTS, który eliminuje halucynacje dzięki nowej architekturze podwójnego dostosowania zbudowanej na Llamie 3.2. Dostępnej w wariantach 1B (anglish) i 3B (multilingual) TADA osiąga RTF wynoszący 0,09 – 5x szybciej niż porównywalne modele TTS oparte na LLM. Obsługuje do 700 sekund kontekstu audio i wytwarza emocjonalnie wyrażoną mówkę o zerowych halucynacjach na standardowych poziomach.

VibeVoice przez Microsoft pojawia się w dwóch wariantach: model 1.5B dla zawartości długiej formy (do 90 minut, 4 głośniki) oraz modelu 0,5B dla streamingu z ~200ms pierwszej latencji audio. Wariant 1.5B wykonuje w podcastach i audiobookach z konsystencją głośnika przez długie pasy. Uwaga: Microsoft usunął kod TTS z repozytorium i generowany dźwięk zawiera słyszalne wypowiedzi AI.

Pocket TTS przez Kyutai (kreatory Moshi) to kompaktowy model 100M parametrów tekst- do-speech, który uderza znacznie powyżej jego wagi. Działa efektywnie na procesorze, obsługuje klonowanie głosu zerowego z pojedynczej próbki audio i wytwarza naturalnie dźwiękową mówkę. Mały rozmiar modelu sprawia, że jest idealny dla rozmieszczenia krawędzi i środowiska niskiego źródła.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.