Mpamorona Lahatsary AI Lip Sync

Apetraho ny sary sy ny feo, ary ny AI dia hamorona lahatsary amin'io tarehy io miresaka ny feo miaraka amin'ny fihetseham-pon'ny vava, ny fitondran-tena sy ny fitsiky ny maso. tsy misy ny fitaovana amin'izao fotoana izao: mampiasa ny SadTalker (CVPR 2023) izy, izay nampianarina tamin'ny Basel Face Model ny lanjany amin'ny fanamboarana tarehy 3D, izay nahazo alalana ho an'ny fikarohana tsy ara-barotra ihany.

Mety ho sary JPG na PNG (hatramin'ny 10 MB) na horonantsary fohy MP4/WebM (ny frame voalohany no ampiasainay) ny fandefasana ny tarehy. Mety ho MP3, WAV, M4A, na FLAC hatramin'ny 10 MB ny feo. Averina aseho amin'ny 16 kHz ny feo ao anatiny.

Kaonty maimaimpoana: hatramin'ny 30 segondra isaky ny horonantsary. Mpisera mividy: hatramin'ny 5 minitra isaky ny fangatahana. Ny feo lava kokoa dia midika fa maharitra kokoa ny fotoana fanehoana ary lafo kokoa ny vidin'ny marika.

Mampiasa marika 1000 isan-tsegondra amin'ny horonantsary novokarina ny horonantsary mifanaraka amin'ny vava. 30 segondra ny horonantsary iray = 30 000 marika. Hofandraisina amin'ny karazan-karazanao aloha ny vidin'ny horonantsary ary hoverinao hoazy raha tsy nahomby ny fanontana.

Tsia. Voatsahatra ilay fitaovana satria tsy mamela izany ny fahazoan-dàlana modely. Apache-2.0 ny famantarana SadTalker, saingy ny tambajotra fanamboarana tarehy ao anatiny dia nampianarina tamin'ny Basel Face Model 2009, izay ny fahazoan-dàlana omeny dia mamela ny fikarohana anatiny, tsy ara-barotra ihany. Tsy ho an'ny fampiasana ara-barotra ny lahatsary navoaka tamin'ny alalan'izany talohan'ny 15 Septambra 2026, na dia misy aza ny fifanarahana mividy. Ianao no tompon'andraikitra amin'ny fana ny zo amin'ny sary sy ny feo avy amin'ny tarehy navoakanao.

Rehefa mandeha ilay fitaovana, dia 30 segondra eo ho eo ny fotoana iasana amin'ny lahatsary 5 segondra, izay miova arakaraka ny halavan'ny feo. Tsy misy amin'izao fotoana izao izy io raha mitady modely iray ahafahan'ny olona miteny ny lohany isika.

Ny safidy mialoha feno (tsotra) dia mamorona sary mihetsika ny fijerin'ny lohany, ny fijerin'ny masony, ary ny fisehoany miaraka amin'ny vavany, ka miteraka lahatsary misy lohany miresaka toy ny tena izy. Ny safidy mialoha mbola mitoetra kosa dia manakana ny lohany amin'ny toerana misy azy ary ny vava ihany no mamorona sary mihetsika — mety raha te hamorona sary miavaka tsy miova ianao.

GFPGAN dia maodely fanarenana tarehy izay manatsara ny antsipirian'ny tarehy aorian'ny fanehoana azy. Tsy misy azo omena: ny StyleGAN2 teo aloha dia eo ambanin'ny fahazoan-dàlana NVIDIA tsy ara-barotra ary ny maodely fanadihadiana tarehy dia CC BY-NC-SA.

Ny SadTalker dia miseho amin'ny 256 px tsotra, ary 512 px no safidy henjana. Tsy misy io fitaovana io amin'izao fotoana izao; ny sary mivaky tsara sy tsara kalitao no mety indrindra amin'ny modely iray misy loha miresaka.

Eny. Akaro ny MP4 na WebM ho toy ny fandefasana ny tarehy ary hampiasa ny sary voalohany ho toy ny famantarana ny fiara izahay. Raha te-hanova ny feo amin'ny lahatsary feno (ny famenoana ny vava isaky ny sary), jereo ny lahatsary ho avy ao amin'ny Dubbing Studio.

Eny. Mandefa fangatahana marobe amin'ny /api/v1/lipsync/ miaraka amin'ny sehatr'asa face sy audio, avy eo mandefa fanontaniana amin'ny /api/v1/lipsync/result/?uuid= mandra-pahatonga ny toe-draharaha ho "nahavita". Misy URL mankany amin'ny MP4 naseho ny valinteny. Mila fidirana amin'ny API misy saram-pidirana ny fidirana amin'ny API.

Mampiasa ny fifampizarana tarehy ny SadTalker mba hitadiavana sy hanapaka ny tarehy misongadina indrindra. Raha te hahazo vokatra tsara indrindra, dia alefao anaty sary iray ny olona iray eo afovoany, hita maso, ary tsy misy fisokafana kely. Mety hiteraka voka-dratsy tsy azo eritreretina ny sary an-drafitra.