Генератори видеои AI Lip Sync

Сурати рӯй ва клипҳои аудиоиро бор кунед ва AI видеои ин рӯйро бо ҳаракати лаб, ҳолати сар ва чашм кашидан эҷод мекунад. Ин абзор ҳоло дастрас нест: он SadTalker-ро иҷро мекунад (CVPR 2023), ки вазнҳои 3D-и барқароркунии рӯй дар моделҳои Basel Face Model, ки танҳо барои тадқиқоти ғайрикоммерсиалӣ иҷозат дода шудааст, омӯзонида шудаанд.

Вводом может быть изображение JPG или PNG (до 10 МБ) или короткое видео MP4/WebM (мы используем первый кадр). Аудио может быть MP3, WAV, M4A, или FLAC до 10 МБ. Мы пересъемляем аудио внутренне до 16 кГц.

Бақайдгирии ройгон: то 30 сония барои як клип. Корвандони пардохткунанда: то 5 дақиқа барои як дархост. Аудиои дарозтар маънои вақти намоишдиҳии дарозтар ва арзиши аломатҳои баландтарро дорад.

Видеои синхронизатсияи лаб 1000 аломатро дар як сония барои видеои эҷодшуда истифода мебарад. Клипи 30 сония = 30 аломат. Нархи он аз ҳисоби аломати шумо пешакӣ ҳисоб карда мешавад ва дар сурати нокомии эҷодкунӣ ба таври худкор баргардонида мешавад.

Не. Этот инструмент выключен, поскольку модель лицензии не позволяет этого. Код SadTalker - это Apache-2.0, но его сетевой пакет восстановления лица был обучены на Basel Face Model 2009, лицензии которого позволяет только внутреннее, некоммерческое исследование. Видео, которые были созданы с ним до 15 сентября 2026 года, не предназначены для коммерческого использования, включая платные планы. Вы несете ответственность за то, чтобы иметь права на источник изображения лица и аудио, которые вы загружаете.

Вақте ки ин асбоб кор мекард, як клип 5 сонияро тақрибан 30 сония мегирад, ки андозаи он тақрибан бо дарозии аудиои хатӣ аст. Ин ҳоло дастрас нест, то он даме, ки мо моделҳои сарҳои сухангӯро меҷӯем, ки иҷозатномаи онҳо инро иҷозат медиҳад.

Пешфарзи пурра (бо нобаёнӣ) аниматсияҳои ҳолати сар, чашмҳо ва ифодаи рӯйро бо лабҳо эҷод мекунад, ки ин барои эҷоди видеои табиии сар бо сухангӯӣ мусоидат мекунад. Пешфарзи боқӣ сарро дар ҷояш нигоҳ медорад ва танҳо даҳонро аниматсия мекунад - ин барои гирифтани сурати фаврӣ фоиданок аст.

GFPGAN модели барқароркунии чеҳраест, ки баъди намоиш додани тасвири чеҳра тафсилоти онро равшан мекунад. Он пешниҳод намешавад: пешинаи StyleGAN2-и он дар асоси иҷозатномаи ғайрикоммерсиалии NVIDIA ва модели таҳлили чеҳраи он CC BY-NC-SA мебошад.

СадСӯҳбатгӯ бо пешфарз дар 256 пиксел, бо 512 пиксел ҳамчун интихоби сусттар тасвир шудааст. Ин асбоб ҳоло дастрас нест; тасвири портретии хуб равшаншуда ва сифати баланд натиҷаи беҳтаринро бо ҳар як моделҳои сарҳои сухангӯ медиҳад.

Бале. MP4 ё WebM-ро ҳамчун вориди чеҳра бор кунед ва мо чорчӯбаи аввалро ҳамчун шахсият истифода хоҳем кард. Барои дубляжи дубораи видеои пурра (тағйир додани даҳон дар ҳар чорчӯба), канали видеоии Studio-и дубляжро бубинед.

Дархости бисёр қисматиро ба /api/v1/lipsync/ бо майдонҳои рӯй ва аудиоӣ фиристед, сипас /api/v1/lipsync/result/?uuid=-ро пурсед, то ки ҳолати "комплект" бошад. Ҷавоб URL-и MP4-и намоишшударо дар бар мегирад. Барои дастрасӣ ба API нақшаи пардохтшаванда лозим аст.

SadTalker барои муайян ва буридани чеҳраи намоёнтар равшанкунии чеҳраро истифода мебарад. Барои натиҷаҳои беҳтарин, портретро бо як нафар дар марказ, чашмҳои дидашаванда ва маҳдудияти минималӣ бор кунед. Суратҳои гурӯҳӣ метавонанд натиҷаҳои пешгӯинашавандаро ба вуҷуд оранд.