Нейросеть HeyGen: для чего нужна и как ей пользоваться

Раньше на перевод и дубляж даже короткого видео уходили недели, а для работы нужна была команда переводчиков, редакторов, актёров и звукорежиссёров, а также профессиональная студия с дорогим оборудованием и хорошей шумоизоляцией. Благодаря нейросетям любой желающий может открыть студию дубляжа прямо у себя дома — без специальных знаний и оборудований. Одна из таких нейросетей — HeyGen. В этой статье рассказываем, как с её помощью переозвучить видео.

Содержание

• Что такое HeyGen
• Что умеет HeyGen
• Какие видео можно переозвучить
• Как переозвучить видео с помощью нейросети HeyGen
• Стоит ли покупать подписку?
• Примеры перевода видео в нейросети HeyGen

Что такое HeyGen

HeyGen — это нейросеть, с помощью которой можно генерировать видеоролики, озвучивать их, дублировать на разные языки и создавать виртуальных дикторов, которые зачитывают текст. Главная фишка нейросети в том, что во время создания дубляжа она адаптирует движение губ человека под новую аудиодорожку и имитирует тембр голоса из оригинального ролика.

Например, с помощью HeyGen можно заставить Леонардо Ди Каприо говорить на русском языке или услышать, как персонажи советских фильмов говорили бы на итальянском. Нейросетью часто пользуются авторы контента, которые хотят выйти на новую аудиторию в социальных сетях.

В HeyGen есть бесплатный тариф, возможностей которого хватит для тестов или если планируете редко пользоваться сервисом. Для постоянного использования и работы над большими проектами нужна подписка.

Стоит отметить, что, несмотря на продвинутые алгоритмы, HeyGen работает неидеально — например, иногда в готовом видео встречаются ошибки или неестественная артикуляция.

Читайте также:

10 лучших нейросетей для создания видео

Что умеет HeyGen

Пройдёмся по основным фишкам нейросети:

• Генерация видео. Можно выбрать цифрового аватара из библиотеки и заставить его произносить ваш текст. Этот режим подходит для создания презентаций или видеоуроков.

• Дублирование роликов на разных языках. HeyGen отлично справляется с переозвучиванием видео на другие языки. Например, можно перевести ролик с английского на русский. При этом сохранится тембр голоса из оригинального видео, а артикуляция подстроится под сгенерированную аудиодорожку. Именно эта функция полюбилась пользователям и сделала сервис популярным.

• Замена голоса. Представьте, что брутальную рекламу нового автомобиля озвучивает мягкий и нежный голос. Такое сопровождение явно не подходит для этого видео по атмосфере. С помощью HeyGen можно заменить голос, сделав его более басистым и грубым.

• Участие в совещаниях. Если устали от постоянных созвонов, то с помощью HeyGen можно создать своего цифрового двойника и отправлять его общаться с командой вместо вас. Аватарка будет не просто мило улыбаться в камеру, но и отвечать на вопросы начальства. А ещё двойник может подключиться сразу к нескольким созвонам. Удобно, если задач много и нужно успеть везде.

Какие видео можно переозвучить

Больше всего пользователи полюбили функцию генерации дубляжа видео на разные языки. С её помощью можно переозвучить практически любое видео, начиная с рекламного ролика и заканчивая интервью или подкастом.

Однако, чтобы перевод получился качественным, надо соблюсти следующие рекомендации:

• Хороший звук. Если речь нечёткая или на видео есть шумы, то система может не справиться с задачей.
• Высокое разрешение. Видео должно быть в хорошем качестве, иначе вместо адаптированной артикуляции на месте рта спикера появится неразборчивая «каша» из пикселей.
• Портретный кадр. Лучше всего, если лицо спикера будет направлено прямо в камеру. Допустимы небольшие отклонения в сторону — до 30 градусов. Лицо в профиль не подойдёт, а ещё надо следить за тем, чтобы глаза и губы ничего не перекрывало.
• Один человек в кадре. Если в кадре несколько людей, то нейросети будет сложно понять, кто именно говорит. А ещё она может принять за человека картину или статую. В таком случае естественная артикуляция будет не у главного персонажа, а у произведения искусства. Выглядит это жутко.

Читайте также:

Нейросеть Suno AI: пишем хиты в пару кликов

Как переозвучить видео с помощью нейросети HeyGen

Вот как переозвучить видео в HeyGen:

• Зарегистрируйтесь. Для регистрации достаточно указать адрес электронной почты и ввести код, который пришлёт сервис. Также можно войти с помощью аккаунта Google или Apple.

• Выберите режим генерации. Нажмите кнопку Create video и в открывшемся меню выберите режим Video Translation.

• Загрузите видео. Перетащите свой ролик мышкой в окно загрузки или вставьте ссылку на видео. Сервис поддерживает форматы MP4, WebM и QuickTime (QTFF). Также важно, чтобы размер видео не превышал 5 ГБ, а продолжительность была не менее одной секунды и не более трёх минут. Если на экране появилось сообщение Video detected successfully, значит, загрузка прошла успешно и можно приступать к переводу.

• Настройте озвучку. Нажмите кнопку Create new translation и укажите оригинальный язык. В строке Target language выберите язык, на который надо перевести видео. Среди доступных вариантов ― арабский, болгарский, китайский, турецкий и большинство европейских языков. Также укажите количество спикеров. HeyGen позволяет выбрать до 10 действующих лиц, но, как мы уже говорили выше, лучше всего сервис работает с одним спикером. А ещё не забудьте активировать опцию Enable dynamic duration, если нужно, чтобы нейросеть синхронизировала движение губ.

• Запустите обработку. Нажмите Submit и дождитесь завершения генерации. Иногда сервис бывает загружен, поэтому придётся подождать чуть дольше. Готовое видео можно скачать, но только в 720p. Для повышения качества надо оформить подписку.

В качестве примера мы перевели на итальянский фрагмент советского фильма «Девчата», и вот что у нас получилось:

Стоит ли покупать подписку?

Базовый тариф HeyGen бесплатный и позволяет создавать три видео в месяц. При этом продолжительность каждого видео ограничена тремя минутами. На выходе будут получаться ролики в качестве 720p, а скорость генерации будет зависеть от нагрузки сервиса.

Чтобы снять ограничения, можно оформить платную подписку. HeyGen предлагает пользователям следующие тарифы:

• Creator. Можно создавать сколько угодно роликов продолжительностью до пяти минут и скачивать их в 1080p. Видео будут генерироваться вне общей очереди, чтобы не задерживать вас. Обойдётся такая подписка в 29 долларов в месяц.
• Team. Тариф для небольших компаний позволяет генерировать неограниченное количество видео длительностью до 30 минут и сохранять ролики в 1080p. Стоит тариф 89 долларов в месяц за каждого члена команды.
• Enterprise. План для больших компаний, которым важно качество и скорость работы. В этом тарифе нет ограничений на количество генерируемых видео и длительность, а скачивать готовые ролики можно в 4K. Цены тоже нет — её отдел продаж рассчитывает индивидуально для каждого клиента, но она точно выше платы за тариф Team.

Важно отметить, что HeyGen не принимает карты российских банков, поэтому для оплаты надо использовать посредника или карту иностранного банка.

Примеры перевода видео в нейросети HeyGen

Рассмотрим, как нейросеть справляется с разными видами роликов.

Рекламный ролик

HeyGen могут использовать компании с небольшим рекламным бюджетом. Например, если надо запустить рекламу в нескольких странах, то можно не тратить деньги на профессиональный дубляж, а воспользоваться нейросетью. Например, вот так выглядит перевод рекламы кетчупа Heinz с Эдом Шираном в главной роли на русский язык.

Фрагмент из фильма

Если хотите поделиться с человеком фрагментом любимого фильма, но он не знает русский язык, то попробуйте сгенерировать дубляж в HeyGen. Нейросеть скопирует тембры голосов героев и подстроит артикуляцию.

Мем

Чаще всего HeyGen используют для перевода мемов. Нейросеть справляется с прямым переводом, но не всегда может передать игру слов.