AI Lip Sync Video Generator

Upload een gezichtsfoto en een audioclip, en de AI genereert een video van dat gezicht spreken van de audio met lipbewegingen, hoofd pose en knippert. Het gereedschap is momenteel niet beschikbaar: het liep SadTalker (CVPR 2023), waarvan 3D gezicht reconstructie gewichten werden opgeleid op het Basel Face Model, dat is gelicenseerd voor niet-commercieel onderzoek alleen.

De ingang van het gezicht kan een JPG of PNG beeld (tot 10 MB) of een korte MP4/WebM rijden video (we gebruiken het eerste frame). Het rijden audio kan worden MP3, WAV, M4A, of FLAC tot 10 MB. We resample audio naar 16 kHz intern.

Gratis accounts: tot 30 seconden per clip. Gebruikers betalen: tot 5 minuten per aanvraag. Langere audio betekent langere tijd en hogere karakterkosten.

Lip sync video maakt gebruik van 1000 tekens per seconde van gegenereerde video. Een 30-seconde clip = 30.000 tekens. De kosten worden vooraf gefactureerd van uw karakterbalans en automatisch terugbetaald als de generatie mislukt.

Nee. De tool is uitgeschakeld omdat de modellicentie niet toestaat. SadTalker code is Apache-2.0, maar de gebundelde gezicht reconstructie netwerk werd opgeleid op de Basel Face Model 2009, waarvan de licentie alleen intern, niet-commercieel onderzoek toestaat. Video's gegenereerd met het vóór 15 september 2026 zijn niet voor commercieel gebruik, betaalde plannen inbegrepen. U bent verantwoordelijk voor het hebben van de rechten op de bron gezicht afbeelding en audio die u uploadt.

Toen het gereedschap liep, een 5-seconde clip duurde ongeveer 30 seconden, ongeveer lineair schalen met audio lengte. Het is momenteel niet beschikbaar terwijl we zoeken naar een talking-head model waarvan de licentie staat.

Volledige preset (standaard) animeert hoofd pose, knippert, en expressie samen met de lippen, het produceren van een meer natuurlijke talking-head video. Nog steeds vooraf ingesteld sluit het hoofd op zijn plaats en animeert alleen de mond nuttig wanneer u wilt een stabiele avatar shot.

GFPGAN is een gezichtsherstelmodel dat de gezichtsdetails na rendering scherp heeft gemaakt. Het wordt niet aangeboden: de StyleGAN2 prior is onder een NVIDIA niet-commerciële licentie en zijn gezicht ontleden model is CC BY-NC-SA.

SadTalker standaard weergegeven op 256 px, met 512 px als een langzamere optie. Het gereedschap is momenteel niet beschikbaar; een goed verlicht portret van hoge kwaliteit geeft het beste resultaat met elk spraakkopmodel.

Ja. Upload een MP4 of WebM als de gezichtsinvoer en we zullen het eerste frame gebruiken als de rij-identiteit. Voor volledige video re-dubbing (per-frame mondvervanging), zie de komende Dubbing Studio video pijplijn.

Ja. POST een multipart verzoek naar /api/v1/lipsync/ met gezichts- en audiovelden, dan poll /api/v1/lipsync/result/?uuid= totdat status "voltooid" is. Het antwoord bevat een URL naar de weergegeven MP4. API toegang vereist een betaald plan.

SadTalker gebruikt gezichtsaanpassing om het meest prominente gezicht te detecteren en bij te snijden. Voor de beste resultaten, upload een portret met één persoon gecentreerd, ogen zichtbaar, en minimale occlusie. Groepsfoto's kunnen onvoorspelbare resultaten opleveren.