Ġeneratur tal-Video Sync tal-LIP AI

Ittella’ ritratt tal-wiċċ u klipp awdjo, u l-AI tiġġenera vidjo ta’ dik il-wiċċ li titkellem l-awdjo bil-movimenti tax-xufftejn, il-pożizzjoni tar-ras u t-tbissima.L-għodda bħalissa mhix disponibbli: kienet tmexxi SadTalker (CVPR 2023), li l-piżijiet tar-rikostruzzjoni tal-wiċċ 3D tagħha kienu mħarrġa fuq il-Mudell tal-Wiċċ ta’ Basel, li huwa liċenzjat għal riċerka mhux kummerċjali biss.

L-input tal-wiċċ jista’ jkun immaġni JPG jew PNG (sa 10 MB) jew vidjow qasir tas-sewqan MP4/WebM (nużaw l-ewwel qafas).L-awdjo tas-sewqan jista’ jkun MP3, WAV, M4A, jew FLAC sa 10 MB.Aħna nirrikampjunaw l-awdjo għal 16 kHz internament.

Kontijiet b'xejn: sa 30 sekonda għal kull klipp.Utenti li jħallsu: sa 5 minuti għal kull talba. Awdjo itwal ifisser ħin ta' rendering itwal u spejjeż ogħla tal-karattru.

Il-vidjo tas-sinkronizzazzjoni tax-xofftejn juża 1,000 karattru kull sekonda ta' vidjo ġġenerat.Klip ta' 30 sekonda = 30,000 karattru.L-ispiża tiġi ċċarġjata bil-quddiem mill-bilanċ tal-karattru tiegħek u tiġi rimborżata awtomatikament jekk il-ġenerazzjoni tfalli.

Le. L-għodda hija mitfija minħabba li l-liċenzja tal-mudell ma tippermettix. SadTalker kodiċi huwa Apache-2.0, iżda n-netwerk tar-rikostruzzjoni tal-wiċċ magħqud tiegħu kien imħarreġ fuq il-Basel Face Model 2009, li l-liċenzja tiegħu tippermetti riċerka interna, mhux kummerċjali biss. Videos iġġenerati magħha qabel Settembru 15, 2026 mhumiex għal użu kummerċjali, pjanijiet imħallsa inklużi. Inti responsabbli li jkollok id-drittijiet għall-immaġni tal-wiċċ tas-sors u l-awdjo li ttella'.

Meta l-għodda run, klipp 5-sekonda ħa madwar 30 sekonda, skala bejn wieħed u ieħor lineari mat-tul awdjo.Hija bħalissa mhux disponibbli waqt li aħna tfittex għall-mudell tal-kelma-ras li l-liċenzja jippermetti dan.

Sħiħa preset (default) animazzjonijiet ras pose, blinks, u l-espressjoni flimkien max-xofftejn, li jipproduċu a aktar naturali jitkellmu ras video.Still preset locks-ras fil-post u animazzjonijiet biss il-ħalq — utli meta inti tixtieq shot avatar stabbli.

GFPGAN huwa mudell ta' restawr tal-wiċċ li jsaħħaħ id-dettalji tal-wiċċ wara r-rendering.Mhuwiex offrut: StyleGAN2 preċedenti tiegħu huwa taħt liċenzja NVIDIA mhux kummerċjali u l-mudell tal-parsing tal-wiċċ tiegħu huwa CC BY-NC-SA.

SadTalker huwa ppreżentat b'256 px b'mod awtomatiku, b'512 px bħala għażla aktar bil-mod. L-għodda bħalissa mhix disponibbli; ritratt ta' kwalità għolja u mdawwal tajjeb jagħti l-aħjar riżultat b'kull mudell ta' ras li titkellem.

Iva. Ittella’ MP4 jew WebM bħala l-input tal-wiċċ u aħna nużaw l-ewwel frejm bħala l-identità tas-sewqan. Għal re-dubbing sħiħ tal-vidjow (sostituzzjoni tal-ħalq għal kull frejm), ara l-pipeline tal-vidjow li jmiss ta’ Dubbing Studio.

Iva. POST talba multipart biex /api/v1/lipsync/ bl-oqsma wiċċ u awdjo, imbagħad poll /api/v1/lipsync/result/?uuid= sakemm l-istatus huwa "lest". Ir-risposta fiha URL għall-MP4 rendering. API aċċess jeħtieġ pjan imħallas.

SadTalker juża l-allinjament tal-wiċċ biex jiskopri u jaħsad il-wiċċ l-aktar prominenti. Għall-aħjar riżultati, ittella' ritratti b'persuna waħda ċċentrata, għajnejn viżibbli, u okklusion minima.