ტექსტი საუბრადName

Kokoro არის 82 მილიონი პარამეტრის ტექსტიდან საუბრის მოდელირება, რომელიც მაღლა დგას თავისი წონის კლასში. მიუხედავად მისი მცირე ზომისა, ის წარმოქმნის შესანიშნავად ბუნებრივ და გამოხატულ საუბარს. Kokoro მხარს უჭერს მრავალ ენას, მათ შორის ინგლისურს, იაპონურს, ჩინურსა და კორეულს, სხვადასხვა გამოხატული ხმით. ის მუშაობს მართლაც სწრაფად - აუდიოს წარმოქმნა 100-ჯერ სწრაფად ხდება ვიდრე რეალურ დროში GPU- ზე.

Piper არის მცირე ზომის ტექსტიდან საუბრის მოდული, რომელიც Rhasspy- მ შექმნა და რომელიც VITS და larynx არქიტექტურას იყენებს. ის სრულად მუშაობს CPU- ზე, რაც მას იდეალურს ხდის edge მოწყობილობებისთვის, სახლის ავტომატიზაციისთვის და პროგრამებისთვის, რომლებსაც სჭირდებათ ონლაინ TTS. 100- ზე მეტი ხმით 30+ ენაზე, Piper აწვდის ბუნებრივად ჟღერილ საუბარს რეალურ დროში, Raspberry Pi 4- ზეც კი.

VITS (Variation Inference with adversarial learning for end- to- end Text- to- Speech) არის პარალელური end- to- end TTS მეთოდი, რომელიც უფრო ბუნებრივ ხმებს ქმნის, ვიდრე მიმდინარე ორპროცენტიანი მოდელები. იგი იყენებს ვარიაციულ დასკვნას, რომელიც გაძლიერებულია ნორმალიზებული ნაკადებით და წინააღმდეგობრივი სწავლების პროცესით, რაც ბუნებრივობის მნიშვნელოვან გაუმჯობესებას იძლევა.

MeloTTS by MyShell. ai არის მრავალენოვანი TTS ბიბლიოთეკა, რომელიც მხარს უჭერს ინგლისურს (ამერიკულს, ბრიტანულს, ინდოურს, ავსტრალიურს), ესპანურს, ფრანგულს, ჩინურს, იაპონურს და კორეულს. ის ძალიან სწრაფია, ტექსტი რეალურ დროში თითქმის რეალურ სიჩქარეზე მუშავდება მხოლოდ პროცესორზე. MeloTTS შექმნილია პროდუქციული გამოყენებისთვის და მხარს უჭერს როგორც CPU, ასევე GPU- ს დასკვნას.

ხმოვანი ბარათი (Bark) - სონი არის ტრანსფორმატორზე დაფუძნებული ტექსტის აუდიო მოდელი, რომელიც შეუძლია შექმნას ძალიან რეალისტური, მრავალენოვანი საუბარი, ასევე სხვა აუდიო, როგორიცაა მუსიკა, ფონის ხმა და ხმოვანი ეფექტები. მას შეუძლია შექმნას არავერბალური კომუნიკაცია, როგორიცაა სიცილი, ამოვისუნთქება და ტირილი. Bark მხარს უჭერს 100- ზე მეტ საუბრის წინასწარ განსაზღვრულ ბარათს და 13+ ენას.

Bark Small არის Bark- ის მოდელის დისტილირებული ვერსია, რომელიც აუდიოს ხარისხს ზრდის და ამასთანავე სწრაფად აკეთებს დასკვნებს და მცირებს მეხსიერების მოთხოვნილებებს. იგი ინარჩუნებს Bark- ის უნარს ემოციების, სიცილის და მრავალი ენის გამოთქმის შესაძლებლობას.

CosyVoice 2 Alibaba- ს Tongyi Lab- ით ადამიანის მსმენელთან შედარებით დაბალი ლოდინის ხარისხით, რეალურ დროში პროგრამებისთვის იდეალურია. ის იყენებს საზღვარგარეთ სკალარულ კვანტურ მეთოდს სინთეზის გადაცემისთვის და მხარს უჭერს ნულოვანი გასროლის ხმის კლონირებას, ენათაშორის სინტეზის და ემოციების კონტროლს. ის უსწრებს ბევრ კომერციულ TTS სისტემას სუბიექტურ შეფასებებში.

Dia by Nari Labs არის 1. 6B პარამეტრის ტექსტიდან საუბრის მოდელი, რომელიც განკუთვნილია მრავალმყოფიანი დიალოგის შესაქმნელად. მას შეუძლია წარმოქმნას ორი მყოფის შორის ბუნებრივად ჟღერებული საუბრები შესაბამისი გადაადგილებით, პროზოდიითა და ემოციური გამოხატვით. Dia შესანიშნავია podcast- ს სტილის შინაარსის, აუდიო წიგნის დიალოგების და ინტერაქტიული საუბრის AI- ს შესაქმნელად.

Parler TTS არის ტექსტიდან საუბრის მოდელირება, რომელიც იყენებს ბუნებრივი ენის ხმების აღწერას, რომ გააკეთოს საუბარი. წინასწარ განსაზღვრული ხმების არჩევის ნაცვლად, თქვენ აღწერთ ხმას, რომელიც გსურთ (მაგალითად, "თბილი ქალის ხმა მსუბუქი ბრიტანული აკენტით, ნელა და ნათლად საუბრობს") და Parler გენერირებს საუბარს, რომელიც შეესაბამება ამ აღწერას. ეს მას უნიკალურად მოქნილად ხდის კრეატიული პროგრამებისთვის.

GLM- TTS by Zhipu AI არის ტექსტიდან საუბრის სისტემა, რომელიც აგებულია Llama- ს არქიტექტურაზე და ფლეშ შეთავსებით. იგი ახდენს სიმბოლოების შეცდომის ყველაზე დაბალ მაჩვენებელს ღია კოდის TTS მოდელებს შორის, რაც ნიშნავს, რომ ის წარმოქმნის ყველაზე ზუსტ გამოთქმას. GLM- TTS მხარს უჭერს ინგლისურსა და ჩინურ ენებს ხმათა კლონირებასთან ერთად 3- 10 წამიანი აუდიოს ნიმუშებიდან.

IndexTTS- 2 არის ტექსტი- საუბარი სისტემა, რომელიც ახდენს საუბრის ნულოვანი ჭრილობის სინთეზის ემოციების კონტროლს. მას შეუძლია საუბარი სპეციფიკური ემოციური ტონით, როგორიცაა ბედნიერი, ტკივილი, სიბრაზე ან შიში, ემოციების სპეციფიკური მონაცემების საჭიროების გარეშე. მოდელი იყენებს ემოციების ვექტორებს, რომ ზუსტად კონტროლდეს საუბრის ემოციური გამოხატვა.

Spark TTS by SparkAudio არის ტექსტიდან საუბრის მოდელი, რომელიც აერთიანებს ხმის კლონირებას კონტროლირებადი ემოციითა და საუბრის სტილთან. მხოლოდ 5 წამიანი რეფერენციული აუდიოს გამოყენებით, მას შეუძლია ხმის კლონირება და შემდეგ საუბრის გენერირება სხვადასხვა ემოციით, სიჩქარითა და სტილებით, კლონირებული ხმის იდენტობის შენარჩუნებისას. Spark TTS იყენებს კითხვაზე დაფუძნებულ კონტროლის სისტემას.

GPT- SoVITS აერთიანებს GPT- ს სტილის ენის მოდელირებას SoVITS- ით (მღერის ხმა გადათარგმნისა და სინთეზის საშუალებით) ძლიერი რამდენიმე შტრიხიანი ხმათა კლონირებისთვის. 5 წამიანი რეფერენციული აუდიოს გამოყენებით, მას შეუძლია ზუსტად კლონირება მოახდინოს ხმაზე და ახალი ხმა შექმნას, ამავე დროს კი დამსწრეთა უნიკალური თვისებების შენარჩუნება. ის გამოირჩევა როგორც საუბრის, ასევე სიმღერის ხმათა სინთეზში.

Orpheus დიდი მასშტაბის ტექსტიდან საუბრის მოდელია, რომელიც ადამიანის დონის ემოციურ გამოხატვას აღწევს. 100, 000 საათზე მეტი განსხვავებული საუბრის მონაცემებით მომზადებული, ის გამოირჩევა საუბრის გენერირებაში ბუნებრივი ემოციებით, ხაზგასმითა და საუბრის სტილებით. Orpheus შეუძლია წარმოქმნას საუბარი, რომელიც პრაქტიკულად არ განსხვავდება ადამიანის ჩანაწერებიდან.

Chatterbox by Resemble AI არის უახლესი ნულოვანი გასროლის ხმის კლონირება. მას შეუძლია ნებისმიერი ხმის რეპლიკაცია ერთიანი აუდიოს მაგალითიდან გამორჩეული სიზუსტის მქონე, არა მხოლოდ ტიმბრის, არამედ საუბრის სტილისა და ემოციური ნიუანსების აღქმით. Chatterbox ასევე გთავაზობთ ემოციების კონტროლს, რაც საშუალებას გაძლევთ შეცვალოთ გენერირებული საუბრის ემოციური ტონი, ხმათა იდენტობისგან დამოუკიდებლად.

Tortoise TTS არის ავტორეგრესული მრავალხმიანი ტექსტიდან საუბრის სისტემა, რომელიც აუდიოს ხარისხს უპირატესობას ანიჭებს სიჩქარეს. ის იყენებს DALL- E- ით შთაგონებულ არქიტექტურას, რათა გამოიწვიოს ძალიან ბუნებრივი საუბარი, შესანიშნავი პროზოდიით და საუბრის მსგავსებით. მიუხედავად იმისა, რომ ბევრ ალტერნატივაზე ნელა მუშაობს, Tortoise წარმოქმნის ერთ- ერთ ყველაზე რეალისტურ სინტეტიკურ საუბარს, რომელიც ხელმისაწვდომია ღია კოდის ეკოსიტემაში.

StyleTTS 2 ახდენს ადამიანის დონის TTS- ს სინთეზს სტილის დიფუზიის და დაპირისპირების სწავლების კომბინაციით, დიდი საუბრის ენის მოდელების გამოყენებით. ის ქმნის ყველაზე ბუნებრივად ჟღერებულ საუბარს ერთ- ერთი მსაუბრის მოდელების შორის, ადამიანის ჩანაწერების კონკურენტად. StyleTTS 2 იყენებს დიფუზიის საფუძველზე სტილის მოდელირებას, რომ ჩაწეროს ადამიანის საუბრის ვარიაციების სრული სპექტრი.

OpenVoice- ის მიერ MyShell. ai- ს საშუალებას აძლევს მყისიერად კლონირებას ხმაზე, ხმაურიანი სტილის, ემოციის, აქცენტის, რიტმის, პაუზების და ინტონაციის კონტროლით. მას შეუძლია ხმა მცირე აუდიო კლიპიდან და საუბრის შექმნა მრავალ ენაზე, საუბრის ინდივიდუალურობის შენარჩუნების გარეშე. OpenVoice ასევე ფუნქციონირებს როგორც ხმათა კონვერტორი, რაც საშუალებას აძლევს ხმათა რეალურ დროში ტრანსფორმაციას.

Qwen3- TTS არის 1. 7 მილიარდი პარამეტრის ტექსტი- საუბარი მოდელი Alibaba- ს Qwen გუნდისგან. ის მხარს უჭერს სამ რეჟიმს: წინასწარ განსაზღვრული ხმა ემოციების კონტროლით (9 მღერელი), ხმათა კლონირება მხოლოდ 3 წამიანი აუდიოსგან და უნიკალური ხმათა დიზაინის რეჟიმი, სადაც თქვენ აღწერთ ხმას, რომელსაც გსურთ ბუნებრივ ენაში. ის მოიცავს 10 ენას მაღალი გამოხატულებით და ბუნებრივი პროზოდიით.

Sesame CSM (Conversational Speech Model) არის 1 მილიარდი პარამეტრის მოდელი, რომელიც განკუთვნილია კონვერტაციული საუბრის შესაქმნელად. ის მოდელირებას ახდენს ადამიანის საუბრის ბუნებრივ სტრუქტურას, მათ შორის გადაადგილების დროის, უკანა არხების პასუხების, ემოციური რეაქციების და საუბრის ნაკადის. CSM ქმნის აუდიოს, რომელიც ჟღერს როგორც ბუნებრივი ადამიანის საუბარი და არა როგორც სინთეტიკური საუბარი.

Chatterbox Turbo by Resemble AI არის Chatterbox- ის 350M პარამეტრის გაუმჯობესება, რომელიც რეალურ დროში 6x სიჩქარეს აძლევს 200ms- ზე ნაკლებ დაგვიანებით. ის მხარს უჭერს პარალინგვისტიკურ ჭდეებს, როგორიცაა [სიცილი], [ქავილი] და [ჩურჩული] პირდაპირ ტექსტში. მოიცავს Perth- ის წყალმცენარეებს ყველა შექმნილ აუდიოზე, ანუ ხმას, რომელიც მზადდება ხმაურის წყაროს ძიების მიზნით.

ჱჲნჲჟ 0. 1 ჲრ ზთტპა ვ 1. 6 ბ ოაპამვრპთფვნ მჲევლ ჟ ოპჲმვნლთ ჱა ჟპვა, ჱა ჟყზალვნთვ, ჱა ჟრპაჳ თ ჱა ჟრპაჳჲრჲგთვ. ჲნ ოპჲოჲპუთპა თ ჟრპანთფვნ თ ნჲგ ჟმ (ჟრჲწ- ჟვპთჲჱვნ მჲევლ) ვარიანრ. ჲბსფვნ ჟჲ 200 000+ ჟჲბჟრგვნთ ჟვკსნეთ მნჲდჲჟლჲგვნ ჟპვან ჟჲ ნვკჲლკს ჟრპვლთ ჲე 10- 30 ჟვკსნეთ ჲრ ჟვკსნეა ჟჲ ჟვკსნეა.

Dia2 Nari Labs- ის მიერ არის Dia- ს პირველი სტრიმინგ- ჯერ გაუმჯობესება, ხელმისაწვდომია 1B და 2B პარამეტრების ვარიანტებში. ის იწყებს აუდიოს სინთეზს პირველი რამდენიმე ტოკენისგან, რაც მას რეალურ დროში ხმაურიანი აგენტებისა და საუბარი- საუბარი მილსადენებისთვის იდეალურს ხდის. მხარს უჭერს მრავალმსაჯულთა დიალოგს [S1] / [S2] ჭდეებით და პარალინგვისტიკურ ნიშნებს, როგორიცაა (სიცილი), (კაშკაშა).

VoxCPM 1. 5 OpenBMB- ს მიერ არის ახალი, ტოკენიზატორის გარეშე TTS მოდელი, რომელიც მუშაობს არა დისკრეტული ტოკენების, არამედ მუდმივი სივრცის გამოყენებით. ის აწარმოებს მაღალი ხარისხის 44. 1kHz აუდიოს, მხარს უჭერს ნულოვანი შოტის ხმების კლონირებას 3- 10 წამის განმავლობაში და ინარჩუნებს კონსენსუსს აბზაცებს შორის. ენათაშორისი კლონირება საშუალებას გაძლევთ ინგლისური ხმა გამოიყენოთ ჩინურ საუბარში და პირიქით.

OuteTTS ზრდის დიდი ენის მოდელს ტექსტიდან საუბრის შესაძლებლობებით, მაგრამ ქმნის ორიგინალურ არქიტექტურას. ის მხარს უჭერს მრავალ უკანელებს, მათ შორის llama.cpp (CPU/GPU), Hugging Face Transformers, ExLlamaV2, VLLM და ბრაუზერის დასკვნას Transformers.js-ის საშუალებით. აქვს ნულოვანი გასროლის ხმათა კლონირება JSON-ის სახით შენახული საუბრის პროფილების საშუალებით.

TADA (Text- Acoustic Dual Alignment) Hume AI- ს მიერ არის რადიკალური TTS მოდელი, რომელიც ებრძვის ჰალუცინაციებს Llama 3. 2- ზე დაფუძნებული ახალი ორმაგი განლაგების არქიტექტურის საშუალებით. ხელმისაწვდომია 1B (ინგლისური) და 3B (მულტიენური) ვარიანტებში, TADA- ს RTF 0. 09 - 5x სწრაფია, ვიდრე შედარებითი LLM- ის საფუძველზე TTS მოდელი. ის მხარს უჭერს 700 წამის აუდიო კონტექსს და წარმოქმნის ემოციურად გამოხატულ საუბარს ნულოვანი ჰალუცინაციებით სტანდარტულ ბაზებზე.

Microsoft- ის VibeVoice- ს ორი ვარიანტი არსებობს: 1. 5B მოდელი გრძელი ფორმის შინაარსისთვის (90 წუთამდე, 4 მღერალი) და რეალურ დროში 0. 5B მოდელი აუდიოს გადაცემისთვის ~200 მს- იანი პირველი აუდიოს დაგვიანებით. 1. 5B ვარიანტი საუკეთესოა ვიდეო ჩარტებისთვის და აუდიოქილებებისთვის, რადგან მღერალთან კავშირი გრძელი მონაკვეთების განმავლობაში რჩება. აღნიშვნა: Microsoft- მა TTS კოდი საცავიდან ამოიღო და შექმნილი აუდიო შეიცავს აუდიო AI განმარტებებს.

Pocket TTS Kyutai- ს მიერ (Moshi- ს შემქმნელები) არის კომპაქტური 100M პარამეტრის ტექსტიდან საუბრის მოდელი, რომელიც ძლიერია თავისი წონის მიხედვით. ის ეფექტურად მუშაობს CPU- ზე, უჭერს მხარს ნულოვანი გასროლის ხმათა კლონირებას ერთი აუდიოს ნიმუშიდან და წარმოქმნის ბუნებრივად ჟღერებულ საუბარს. პატარა მოდელის ზომა იდეალურია საზღვაო განლაგებისთვის და დაბალი რესურსების მქონე გარემოებისთვის.

Kitten TTS by KittenML is an ultra-lightweight text-to-speech model built on ONNX. With variants from 15M to 80M parameters (25-80 MB on disk), it delivers high-quality voice synthesis on CPU without requiring a GPU. Features 8 built-in voices, adjustable speech speed, and built-in text preprocessing for numbers, currencies, and units. Ideal for edge deployment and low-latency applications.

CosyVoice3 is the latest evolution from Alibaba's FunAudioLLM team. It features bi-streaming inference with ~150ms latency, instruction-based control for emotion/speed/volume, and improved speaker similarity for zero-shot cloning. Supports 9 languages plus 18 Chinese dialects. RL-tuned variant delivers state-of-the-art prosody.

MOSS-TTS from OpenMOSS supports generation of up to 1 hour of continuous speech across 20 languages. Features token-level duration control, phoneme-level pronunciation control via IPA/Pinyin, and code-switching between languages. The 8B production model delivers state-of-the-art quality with zero-shot voice cloning from reference audio.

MegaTTS3 from ByteDance uses a novel sparse alignment mechanism combined with a latent diffusion transformer. Features adjustable trade-off between speech intelligibility and speaker similarity for zero-shot voice cloning.