В «Яндекс.Браузере» появился синхронный перевод онлайн-трансляций

Озвучивает всё голосовой помощник Алиса.

Редакция «Код» Skillbox Media

Онлайн-журнал для тех, кто влюблён в код и информационные технологии. Пишем для айтишников и об айтишниках.

Что случилось

Разработчики «Яндекс Браузера» добавили бета-версию функции онлайн-перевода прямых эфиров. Пока доступно ограниченное количество каналов и лишь некоторые из иностранных языков — английский, итальянский, испанский, немецкий и французский.

Функцию включили только в версии браузера для Windows и macOS, а в мобильной версии планируют добавить позже. Скачать и протестировать браузер можно на официальном сайте «Яндекса».

Функция синхронного перевода прямых трансляций. Источник: блог «Яндекса»

Как это работает

Летом 2021 года «Яндекс» анонсировал прототип автоматического перевода видео. На тот момент функция работала только с видео на английском языке и не поддерживала прямые эфиры. И тогда архитектура закадрового перевода выглядела совершенно иначе, потому что у нейросети был полный контекст происходящего.

В работе с онлайн-переводом команда «Яндекс.Браузера» использовала четыре нейросети. Одна нейросеть распознаёт аудио и конвертирует его в текст, вторая — распознаёт пол спикера по биометрии. Третья нейросеть отвечает за знаки препинания и выделение из текста смысловых фрагментов — отдельных законченных предложений. И последняя нейросеть переводит сгенерированный текст на русский язык.

Нейросети похожи на синхронных переводчиков, которые не ждут окончания фразы спикера, а начинают переводить предложения сразу же.

Всё вместе это выглядит так: