Gineadóir Físe Sync Liopa AI

Uaslódáil grianghraf aghaidh agus gearrthóg fuaime, agus gineann an AI físeán den aghaidh sin ag labhairt an fhuaim le gluaiseachtaí liopa, ceann a chur agus blinks.Tá an uirlis ar fáil faoi láthair: rith sé SadTalker (CVPR 2023), a bhfuil a meáchain athchóiriú aghaidh 3D a oiliúint ar an Basel Face Model, atá ceadúnaithe le haghaidh taighde neamhthráchtála amháin.

Is féidir leis an ionchur aghaidh a bheith ina íomhá JPG nó PNG (suas le 10 MB) nó físeán tiomána MP4 / WebM gearr (bainimid úsáid as an gcéad fhráma). Is féidir leis an bhfuaim tiomána a bheith MP3, WAV, M4A, nó FLAC suas le 10 MB.

Cuntais saor in aisce: suas le 30 soicind in aghaidh an ghearrthóg. úsáideoirí a íocann: suas le 5 nóiméad in aghaidh an iarratais. Ciallaíonn níos faide fuaime níos faide rindreáil am agus costas carachtar níos airde.

Úsáideann físeán sioncrónaithe liopaí 1,000 carachtar in aghaidh an tsoicind d'fhíseán a ghintear. Gearrthóg 30 soicind = 30,000 carachtar. Déantar an costas a bhilleáil roimh ré ó d'iarmhéid carachtar agus aisíoctar go huathoibríoch é má theipeann ar ghiniúint.

Níl. Tá an uirlis díchumasaithe toisc nach gceadaíonn an ceadúnas samhail é. Is é cód SadTalker Apache-2.0, ach traenáil a líonra athchóirithe aghaidhe bundle ar an Basel Face Model 2009, a gceadaíonn a cheadúnas taighde inmheánach, neamhthráchtála amháin. Ní úsáidtear físeáin a ghintear leis roimh 15 Meán Fómhair, 2026 le haghaidh úsáide tráchtála, pleananna íoctha san áireamh. Tá tú freagrach as na cearta a bheith agat ar an íomhá aghaidhe foinse agus ar an bhfuaim a uaslódálann tú.

Nuair a bhí an uirlis ag rith, thóg gearrthóg 5 soicind thart ar 30 soicind, ag scálú go líneach le fad fuaime. Níl sé ar fáil faoi láthair agus muid ag lorg samhail ceann cainte a gceadaíonn a cheadúnas é.

Réamhshocrú iomlán (réamhshocrú) beochan ceann pose, blinks, agus abairt chomh maith leis na liopaí, ag táirgeadh físeán níos nádúrtha ag caint-ceann. Still réamhshocraithe glas an ceann i bhfeidhm agus beochan ach an béal - úsáideach nuair is mian leat a shot avatar seasta.

Is samhail athchóirithe aghaidhe é GFPGAN a ghéaraigh sonraí aghaidhe tar éis rindreáil.Ní thairgtear é: tá a StyleGAN2 roimhe seo faoi cheadúnas neamhthráchtála NVIDIA agus tá a samhail parsála aghaidhe CC BY-NC-SA.

Rindreáiltear SadTalker ag 256 px de réir réamhshocraithe, agus 512 px mar rogha níos moille. Níl an uirlis ar fáil faoi láthair; is é portráid ardcháilíochta, soilsithe go maith, an toradh is fearr le haon mhúnla ceann labhartha.

Is féidir. Uaslódáil MP4 nó WebM mar ionchur aghaidhe agus úsáidfimid an chéad fhráma mar an fhéiniúlacht tiomána. Chun ath-dhubáil iomlán físe a fháil (athsholáthar béil in aghaidh an fhráma), féach an píblíne físe atá le teacht ó Dubbing Studio.

Tá. POST iarratas ilpháirteach chuig /api/v1/lipsync/ le réimsí aghaidh agus fuaime, ansin poll /api/v1/lipsync/result/?uuid= go dtí go bhfuil stádas "críochnaithe". Tá URL leis an MP4 rindreáilte sa fhreagra. Tá plean íoctha ag teastáil le haghaidh rochtain API.

Úsáideann SadTalker ailíniú aghaidhe chun an t-aghaidh is suntasaí a bhrath agus a bharr. Chun na torthaí is fearr a fháil, uaslódáil portráid le duine amháin lárnaithe, súile le feiceáil, agus occlusion íosta.