НазадПерейти к OmniHuman 2.0
ByteDance · Фото + аудио → видео

OmniHuman 2.0

Оживите фото под любой звук. Губы, мимика, жесты и камера следуют за аудио — речь или песня до 5 минут.

Пример: диалог двух людей

Одно фото и диалог из озвучки: в промпте указано, кто говорит и кто в это время молча слушает. Ролик 13 секунд, звук включён.

Русская озвучка. Промпт: Static camera and background. Woman on left speaks, man on right listens silently; man speaks, woman listens silently; woman speaks, man listens silently; finally, man speaks with a smirk, woman listens silently.
Английская озвучка. Промпт: Static camera, both stay in frame. First the woman frame-right speaks curiously while the man frame-left listens silently. Then he speaks proudly while she listens silently. Then she speaks suspiciously while he listens silently. Finally he grins, speaks and laughs while she listens silently.
до 5 мин
Длительность
Тело и камера
Не только лицо
от ···
кредитов
720p
Качество

Как это работает

1. Загрузите фото

Человек, животное или рисованный персонаж с чётким крупным лицом. Именно он оживёт.

2. Загрузите аудио

Речь, песня или озвучка от 4 секунд до 5 минут. Можно озвучить текст прямо здесь.

3. Получите видео

Губы, мимика и жесты следуют за звуком. По желанию добавьте промпт: камера, действия, события в кадре.

Нет готовой записи? Озвучьте текст нейросетью — своим голосом или голосом по описанию. Подробнее об озвучке текста →

Возможности

Не только говорящая голова: движение тела, жесты, реакции
Пение и ритмичные выступления, в том числе высокие партии
Ход камеры и действия по порядку задаются коротким промптом
Несколько героев в кадре: говорящего выбирает промпт
Животные, игрушки и рисованные персонажи тоже говорят и поют
До 5 минут, качество 720p

Как писать промпт

Промпт необязателен: модель сама понимает смысл аудио. Он нужен для камеры, действий и событий в кадре.

Назовите, как звучит персонаж: «говорит в камеру», «поёт», «шепчет». Без этого губы получаются слабее.
Описывайте только то, что меняется. Внешность и обстановку модель берёт с фото.
Действия расставляйте по порядку: «сначала… затем… в конце».
У хода камеры указывайте, где он заканчивается: «наезжает и останавливается на лице».
Говорящий не должен уходить из кадра и возвращаться: лицо может измениться.
Диалог двух людей: на каждую реплику напишите, кто говорит и кто молча слушает, называя их по сторонам кадра («женщина слева», «мужчина справа»). Камеру держите неподвижной.

Цены

··· кр/сек

Цена = ставка × длительность аудио, секунды округляются вверх

4 сек
··· кр
15 сек
··· кр
1 мин
··· кр
5 мин
··· кр

Частые вопросы

Что такое OmniHuman 2.0?

Это модель ByteDance: из одного фото и одного аудио она делает видео, где персонаж говорит или поёт, жестикулирует и двигается в такт звуку. Видео длится столько же, сколько аудио.

Чем OmniHuman 2.0 отличается от Kling Avatar?

Kling Avatar — недорогая говорящая голова с разрешением 720p или 1080p. OmniHuman 2.0 умеет больше: движение тела и жесты, ход камеры, пение, несколько героев в кадре, животные и рисованные персонажи. Разрешение 720p, секунда дороже.

Какое аудио можно загружать?

Речь, песню или озвучку длительностью от 4 секунд до 5 минут. MP3 и WAV подходят сразу, остальные форматы (M4A, OGG, FLAC, AAC) и слишком тяжёлые файлы мы перекодируем сами.

Нужен ли промпт?

Нет. Модель сама понимает смысл аудио и играет по нему. Промпт (до 300 символов) нужен для хода камеры, действий и событий в кадре. Он должен быть на английском, китайском, японском, корейском, испанском или индонезийском: русский не поддерживается, поэтому в форме есть перевод. Если результат со своим промптом хуже, попробуйте без него.

Сколько стоит?

Цена посекундная: ставка × длительность аудио, секунды округляются вверх. Оплата списывается при запуске, при ошибке генерации кредиты возвращаются.

Какой длины делать ролики?

Допустимо до 5 минут, но структура ролика лучше всего держится примерно до 15 секунд, дальше возможен дрейф. Для длинной записи надёжнее собрать несколько коротких роликов из одного фото.

Какое фото подойдёт?

Чёткое фото с крупным лицом, лучше анфас или в три четверти. Стороны от 300 до 6000 пикселей, соотношение сторон от 2:5 до 5:2. Если лицо в кадре мелкое, рот может почти не двигаться — обрежьте фото ближе.

Оживить фото