AI Lip Sync Video Generator

Laden Sie ein Gesichtsfoto und einen Audioclip hoch, und die KI generiert ein Video von diesem Gesicht, das das Audio mit Lippenbewegungen, Kopfpose und Blinken spricht. Das Tool ist derzeit nicht verfügbar: es lief SadTalker (CVPR 2023), dessen 3D-Gesichtsrekonstruktionsgewichte auf dem Basel Face Model, das nur für nichtkommerzielle Forschung lizenziert wurde, trainiert wurden.

Der Gesichtseingang kann ein JPG- oder PNG-Bild (bis zu 10 MB) oder ein kurzes MP4/WebM-Driving-Video sein (wir verwenden den ersten Frame). Das treibende Audio kann MP3, WAV, M4A oder FLAC bis zu 10 MB sein.

Kostenlose Konten: bis zu 30 Sekunden pro Clip. Bezahlende Benutzer: bis zu 5 Minuten pro Anfrage. Längere Audio bedeutet längere Renderzeit und höhere Zeichenkosten.

Lip-Sync-Video verwendet 1.000 Zeichen pro Sekunde des generierten Videos. Ein 30-Sekunden-Clip = 30.000 Zeichen. Die Kosten werden von Ihrem Charakter-Balance nach oben berechnet und automatisch zurückerstattet, wenn die Generierung fehlschlägt.

Nein. Das Tool ist ausgeschaltet, weil die Modelllizenz es nicht erlaubt. SadTalker-Code ist Apache-2.0, aber sein gebündeltes Face Reconstruction-Netzwerk wurde auf dem Basel Face Model 2009 trainiert, dessen Lizenz nur interne, nicht-kommerzielle Forschung erlaubt. Videos, die mit ihm vor dem 15. September 2026 generiert wurden, sind nicht für kommerzielle Zwecke, bezahlte Pläne enthalten. Sie sind verantwortlich für die Rechte an dem Quellgesichtbild und Audio, das Sie hochladen.

Als das Tool lief, dauerte ein 5-Sekunden-Clip etwa 30 Sekunden, wobei er grob linear mit Audiolänge skaliert wurde. Er ist derzeit nicht verfügbar, während wir nach einem Gesprächskopfmodell suchen, dessen Lizenz es erlaubt.

Volle Preset (Standard) animiert Kopfpose, blinkt, und Ausdruck zusammen mit den Lippen, die Herstellung eines natürlicher sprechenden Kopf-Video. Noch Preset sperrt den Kopf an Ort und Stelle und animiert nur den Mund – nützlich, wenn Sie eine stetige Avatar Aufnahme wollen.

GFPGAN ist ein Gesichtsrestaurationsmodell, das nach der Wiedergabe Gesichtsdetails schärferte. Es wird nicht angeboten: sein StyleGAN2 Prior steht unter einer nicht-kommerziellen NVIDIA-Lizenz und sein Gesichtsparsing-Modell ist CC BY-NC-SA.

SadTalker wird standardmäßig bei 256 px gerendert, mit 512 px als langsamerer Option. Das Tool ist derzeit nicht verfügbar; ein gut beleuchtetes, hochwertiges Portrait liefert das beste Ergebnis bei jedem Sprechkopfmodell.

Ja. Laden Sie einen MP4 oder WebM als Face-Input hoch und wir verwenden den ersten Frame als treibende Identität. Für vollständige Video-Redubbing (per-frame-Mund-Ersatz), siehe die bevorstehende Dubbing Studio Video-Pipeline.

Ja. POST eine mehrteilige Anfrage an /api/v1/lipsync/ mit Gesichts- und Audiofeldern, dann Umfrage /api/v1/lipsync/result/?uuid= bis Status "abgeschlossen" ist. Die Antwort enthält eine URL zum gerenderten MP4. API-Zugriff erfordert einen bezahlten Plan.

SadTalker verwendet Gesichtsausrichtung, um das prominenteste Gesicht zu erkennen und zu beschneiden. Für beste Ergebnisse, laden Sie ein Porträt mit einer Person zentriert, Augen sichtbar, und minimale Okklusion. Gruppenfotos können unvorhersehbare Ergebnisse zu produzieren.