Teks ke Tutur

Kokoro adalah model teks-ke-tutur 82 juta parameter yang mencecah lebih daripada kelas beratnya. Walaupun saiznya kecil, ia menghasilkan pertuturan yang luar biasa semulajadi dan ekspresif. Kokoro menyokong pelbagai bahasa termasuk bahasa Inggeris, Jepun, Cina, dan Korea dengan pelbagai suara ekspresif. Ia berjalan sangat pantas — menghasilkan audio hampir 100x lebih pantas daripada masa nyata pada GPU.

Piper adalah enjin teks-ke-tutur ringan yang dikembangkan oleh Rhasspy yang menggunakan VITS dan larynx. Ia berjalan sepenuhnya pada CPU, menjadikannya sesuai untuk peranti tepi, automasi rumah, dan aplikasi yang memerlukan TTS luar talian. Dengan lebih 100 suara melebihi 30+ bahasa, Piper memberikan pertuturan bunyi-semulajadi pada kelajuan masa nyata bahkan pada Raspberry Pi 4.

VITS (Kesimpulan Variasi dengan pembelajaran lawan untuk Teks-ke-Tutur hujung-ke-hujung) adalah kaedah TTS hujung-ke-hujung sejajar yang menghasilkan audio berbunyi lebih semulajadi daripada model dua-tahap semasa. Ia mengamalkan kesimpulan variasi yang dipertingkatkan dengan aliran normalisasi dan proses latihan lawan, mencapai peningkatan yang ketara dalam kebolehan semulajadi.

MeloTTS oleh MyShell.ai adalah pustaka TTS berbilang bahasa yang menyokong Bahasa Inggeris (Amerika, British, India, Australia), Sepanyol, Perancis, Cina, Jepun, dan Korea. Ia sangat pantas, pemprosesan teks pada kelajuan hampir masa nyata pada CPU sahaja. MeloTTS direka untuk penggunaan pengeluaran dan menyokong kedua-dua CPU dan GPU inferensi.

Bark oleh Suno adalah model teks-ke-audio berasaskan penambah yang boleh menghasilkan ucapan multibahasa yang sangat realistik serta audio lain seperti muzik, bunyi latarbelakang, dan kesan bunyi. Ia boleh menghasilkan komunikasi nonverbal seperti ketawa, menjerit, dan menangis. Bark menyokong lebih daripada 100 praset pembicara dan 13+ bahasa.

Bark Small adalah versi distilasi model Bark yang menukarkan kualiti audio untuk kelajuan inferensi yang lebih pantas dan keperluan memori yang lebih rendah. Ia menyimpan keupayaan Bark untuk menghasilkan ucapan dengan emosi, ketawa, dan berbilang bahasa.

CosyVoice 2 oleh Tongyi Lab Alibaba mencapai kualiti pertuturan setanding manusia dengan latensi yang sangat rendah, menjadikannya sesuai untuk aplikasi masa nyata. Ia menggunakan pendekatan kuantum skala berakhir untuk sintesis strim dan menyokong klon suara sifar-tembak, sintesis lintas-bahasa, dan kawalan emosi berkadaran halus. Ia lebih baik daripada banyak sistem TTS komersial dalam penilaian subjektif.

Dia oleh Nari Labs adalah model teks-ke-tutur parameter 1.6B yang direka khas untuk menghasilkan dialog multi-pembesar. Ia boleh menghasilkan perbualan berbunyi semulajadi antara dua pembesar dengan mengambil pusingan yang sesuai, prosody, dan ungkapan emosi. Dia sempurna untuk mencipta kandungan gaya podcast, dialog buku audio, dan AI perbualan interaktif.

Parler TTS adalah model teks-ke-tutur yang menggunakan huraian suara bahasa semulajadi untuk mengawal pertuturan yang dijana. Alih-alih memilih dari suara praset, anda menerangkan suara yang anda mahu (cth, "suara wanita hangat dengan loghat British yang ringan, bercakap perlahan dan jelas") dan Parler menghasilkan pertuturan yang sepadan dengan huraian itu. Ini menjadikannya unik fleksibel untuk aplikasi kreatif.

GLM-TTS oleh Zhipu AI adalah sistem teks-ke-tutur yang dibina pada arsitektur Llama dengan penyesuaian aliran. Ia mencapai kadar ralat aksara terendah di antara model TTS sumber terbuka, bermakna ia menghasilkan pengucapan yang paling tepat. GLM-TTS menyokong bahasa Inggeris dan Cina dengan klon suara dari sampel audio 3-10 saat.

IndexTTS-2 adalah sistem teks-ke-tutur yang maju yang cemerlang pada sintesis suara sifar-tembak dengan kawalan emosi berkadaran halus. Ia boleh menghasilkan pertuturan dengan nada emosi tertentu seperti gembira, sedih, marah, atau takut tanpa memerlukan data latihan emosi tertentu. Model menggunakan vektor emosi untuk mengawal ungkapan emosi pertuturan yang dijana dengan tepat.

Spark TTS oleh SparkAudio adalah model teks-ke-tutur yang menggabungkan klon suara dengan emosi yang boleh dikawal dan gaya bercakap. Menggunakan hanya 5 saat audio rujukan, ia boleh mengklon suara dan kemudian menghasilkan ucapan dengan emosi, kelajuan, dan gaya yang berbeza sambil mengekalkan identiti suara yang diklon. Spark TTS menggunakan sistem kawalan berasaskan prompt.

GPT-SoVITS menggabungkan pemodelan bahasa gaya GPT dengan SoVITS (Pengertian Suara Menyanyi melalui Terjemahan dan Sintetis) untuk klon suara beberapa-tembak yang kuat. Dengan hanya 5 saat audio rujukan, ia boleh klon suara dengan tepat dan cipta ucapan baru sambil memelihara ciri-ciri unik pembicara. Ia hebat pada sintesis suara bercakap dan menyanyi.

Orpheus adalah model teks-ke-tutur berskala besar yang mencapai ungkapan emosi tahap manusia. Dilatih pada lebih 100,000 jam data pertuturan yang berlainan, ia cemerlang dalam menghasilkan pertuturan dengan emosi semulajadi, penekanan, dan gaya bercakap. Orpheus boleh menghasilkan pertuturan yang hampir tidak dapat dibezakan daripada rakaman manusia.

Chatterbox oleh Resemble AI adalah model klon suara sifar-tembak terkini. Ia boleh meniru sebarang suara dari sampel audio tunggal dengan ketepatan yang luar biasa, menangkap bukan sahaja timbre tetapi juga gaya bertutur dan nuansa emosi. Chatterbox juga mempunyai kawalan emosi berkayu halus, membolehkan anda menyelaraskan nada emosi ucapan yang dijana secara bebas dari identiti suara.

Tortoise TTS adalah sistem teks-ke-tutur multi-suara autoregressif yang mengutamakan kualiti audio berbanding kelajuan. Ia menggunakan arsitektur terinspirasi DALL-E untuk menghasilkan pertuturan yang sangat semulajadi dengan prosody yang baik dan kemiripan pembicara. Walaupun lebih perlahan daripada banyak alternatif, Tortoise menghasilkan sebahagian daripada pertuturan sintetik yang paling realistik yang ada dalam ekosistem sumber terbuka.

StyleTTS 2 mencapai sintesis TTS tahap manusia dengan menggabungkan penyebaran gaya dengan latihan lawan menggunakan model bahasa pertuturan besar. Ia menghasilkan pertuturan yang terdengar paling semula jadi di antara model penutur tunggal, bersaing dengan rakaman manusia. StyleTTS 2 menggunakan pemodelan gaya berasaskan penyebaran untuk menangkap julat penuh variasi pertuturan manusia.

OpenVoice oleh MyShell.ai membolehkan klon suara seketika dengan kawalan granular terhadap gaya suara, emosi, loghat, irama, jeda, dan intonasi. Ia boleh klon suara dari klip audio pendek dan cipta percakapan dalam beberapa bahasa sambil memelihara identiti pembicara. OpenVoice juga berfungsi sebagai penukar suara, membenarkan transformasi suara masa nyata.

Qwen3-TTS ialah model teks-ke-tutur 1.7 bilion parameter dari pasukan Qwen Alibaba. Ia menyokong tiga mod: suara praset dengan kawalan emosi (9 pembesar suara), klon suara dari hanya 3 saat audio, dan mod reka bentuk suara unik di mana anda menerangkan suara yang anda mahu dalam bahasa semulajadi. Ia merangkumi 10 bahasa dengan ekspresi tinggi dan prosodi semulajadi.

Sesame CSM (Conversational Speech Model) adalah model 1 bilion parameter yang direka khas untuk menghasilkan perbualan perbualan. Ia memodelkan corak semula jadi perbualan manusia termasuklah waktu bertukar-tukar, tindak balas saluran belakang, tindak balas emosi, dan aliran perbualan. CSM menghasilkan audio yang berbunyi seperti perbualan manusia semula jadi bukannya perbualan sintetik.

Chatterbox Turbo oleh Resemble AI adalah penambahbaikan parameter 350M untuk Chatterbox, memberikan kelajuan masa nyata sehingga 6x dengan latensi sub-200ms. Ia menyokong tag paralinguistik seperti [laugh], [cough], dan [chuckle] secara langsung dalam teks. Termasuk tanda air Perth pada semua audio yang dijana untuk penjejak asal.

Zonos v0.1 oleh Zyphra adalah model parameter 1.6B yang menampilkan kawalan emosi bersaiz halus dengan pelaris untuk kebahagiaan, kemarahan, kesedihan, ketakutan, dan kejutan. Ia menawarkan kedua-dua Transformer dan varian SSM (model ruang-keadaan) novel. Dilatih pada 200K+ jam percakapan berbilang bahasa dengan klon suara sifar-tembak dari 10-30 saat audio rujukan.

Dia2 oleh Nari Labs adalah penataran strim-pertama kepada Dia, tersedia dalam varian parameter 1B dan 2B. Ia mula mensintesis audio dari beberapa token pertama, menjadikannya sesuai untuk ejen suara masa-sebenar dan paip percakapan-ke-percakapan. Menyokong dialog multi-pembesar suara dengan tag [S1]/[S2] dan tanda paralinguistik seperti (tertawa), (bersin).

VoxCPM 1.5 oleh OpenBMB adalah model TTS bebas tokenizer yang beroperasi dalam ruang berterusan berbanding token terpisah. Ia menghasilkan audio 44.1kHz berketulenan tinggi, menyokong klon suara sifar-tembak dari 3-10 saat, dan mengekalkan konsistensi di sepanjang perenggan. Klon lintas-bahasa membolehkan anda gunakan suara Inggeris untuk percakapan Cina dan sebaliknya.

OuteTTS memperluaskan model bahasa besar dengan keupayaan teks-ke-tutur sambil memelihara arsitektur asal. Ia menyokong banyak backend termasuk llama.cpp (CPU/GPU), Hugging Face Transformers, ExLlamaV2, VLLM, dan bahkan inferensi pelayar melalui Transformers.js. Ciri-ciri kloning suara sifar-tembak melalui profil pembicara disimpan sebagai JSON.

TADA (Teks-Akustik Jajaran Dua) oleh Hume AI adalah model TTS terkini yang menghapuskan halusinasi melalui reka bentuk jajaran dua novel yang dibina pada Llama 3.2. Tersedia dalam varian 1B (Bahasa Inggeris) dan 3B (berbilang bahasa), TADA mencapai RTF 0.09 — 5x lebih pantas daripada model TTS berasaskan LLM yang serupa. Ia menyokong sehingga 700 saat konteks audio dan menghasilkan ucapan yang ekspresif secara emosi dengan sifar halusinasi pada piawaian piawai.

VibeVoice oleh Microsoft datang dalam dua varian: model 1.5B untuk kandungan bentuk panjang (sehingga 90 minit, 4 pengeras) dan model Masa Sebenar 0.5B untuk strim dengan latensi audio pertama ~200ms. Varian 1.5B cemerlang pada podcast dan buku audio dengan konsistensi pengeras melebihi laluan panjang. Perhatian: Microsoft telah membuang kod TTS dari repositori dan audio yang dijana termasuklah pengecualian AI yang boleh didengar.

Pocket TTS oleh Kyutai (pencipta Moshi) adalah model teks-ke-tutur parameter 100M yang kompak yang menekan lebih berat daripada beratnya. Ia berjalan dengan berkesan pada CPU, menyokong klon suara sifar-tembak dari sampel audio tunggal, dan menghasilkan pertuturan berbunyi semulajadi. Saiz model kecil menjadikannya sesuai untuk pelaksanaan tepi dan persekitaran sumber rendah.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.