Microsoft реализовала в Skype поддержку русского языка в режиме синхронного перевода

Технология синхронного перевода речи Skype Translator между английским и испанским языками была запущена еще в 2014 году. Постепенно добавились другие европейские языки. Недавно список поддерживаемых языков перевода в Skype был расширен девятым по счету языком — русским.

1150

Данная технология автоматического синхронного перевода разговорной речи на русский язык и обратно использует принципы машинного обучения с использованием глубинных нейронных сетей. Это означает, что качества перевода со временем будет расти.

Как отметили в Microsoft, в процессе обучения машины использовался тренировочный материал, ориентированный именно под диалоговые сценарии. Как известно, такие исходные данные существенно отличаются от обычного письменного текста.

shemaВ частности, устная речь большинства людей отличается от письменной не только лексикой и структурой фраз, но даже грамматикой. Во время разговора мы используем повторы, паузы, слова-паразиты и другие дефекты, приводящие к потере беглости речи. А иногда говорим несколько предложений без остановки. Используемая в переводчике технология TrueText помогает на лету избавиться от лишнего.

Примечательно, что реализованная в этом выпуске Skype технология перевода ориентирована на передачу всего контекста, поэтому фразы переводятся целиком, а не по отдельным словам.

Еще одним важным фактором является и открытость сервиса. Microsoft Translator Speech API может использовать любой разработчик и интегрировать в свое приложение или сервис функциональность. Конечно же, и в таком случае будет доступ к многоязычному переводу речи в реальном времени.

Как работает «Переводчик Skype»

Чтобы пользователь на другом конце диалога увидел и услышал перевод речи собеседника, «Переводчик Skype» выполняет последовательно несколько операций, используя сервис Microsoft Translator.

shema2Первое, что делает машина — разбирает аудиопоток и преобразует его в текст. Затем он чистится и нормализуется для адаптации к дальнейшему переводу. Затем текст переводится и озвучивается.

На первом этапе аудиопоток проходит распознавание через специально обученную многослойную нейронную сеть, заточенную под работу именно с устной речью. Для обучения такой сети используются огромные массивы парных аудиофрагментов и их транскриптов на соответствующий язык.

Второй этап посвящен коррекции полученного транскрипта с целью минимизации «помех», вызванных повторами слов, лишними паузами или, наоборот, их отсутствием, звуками в паузах (знакомые всем нам «Аа-а-а», «Эээээ» и т.п.).

Также на этом этапе нормализируется структура фраз, автоматически расставляются знаки препинания и может отфильтровываться ненормативная лексика (настраивается пользователем сервиса). На этом же этапе используется специально разработанная технология True Text.

На третьем этапе непосредственно осуществляется перевод транскрипта на язык получателя. Здесь переводчик должен правильно передать смысл всего предложения, а составляющих слов, и в этом также участвует нейронная сеть. Машина может корректировать фразу, ее транскрипт, по мере того, как она произносится участником диалога.

Наконец, на последнем этапе с помощью технологий синтеза речи генерируется аудиоверсия переведенного текста.

Как работает TrueText

skype3Технология TrueText очистит фразу от словесного мусора, исправит корявые обороты, повторы и заикания, чтобы текст было удобнее переводить.

Как обучался Microsoft Translator

Для обучения нейронных сетей используются так называемые «параллельные корпусы» данных, составление которых требует долгой ручной и кропотливой работы (разметки и верификации данных).

Для изначального обучения Microsoft Translator были использованы:

  • Фильмы и видеоролики с размеченными субтитрами на целевом языке
  • Специально «разыгранные» диалоги носителей языка с ручным переводом
  • Традиционные текстовые источники: разговорники, словари и др.

 

Тем, кто заинтересовался новой возможностью перевода в Skype, предлагаем пошаговую инструкцию, как все включить:

  • Установите предварительную версию приложения Skype Translator с сайта skype.com/translator или в Windows Store.
  • Skype Translator доступен для пользователей Windows 7 и выше с последней версией Skype.
  • Чтобы продолжить, прочитайте Правила и примите условия.
  • Проверьте «Настройки» звука и видео, чтобы убедиться, что ваши наушники и микрофон правильно настроены.
  • В закладке «Переводчик Skype» меню «Настройки» активируйте функцию перевода, поставив «галочку» напротив «Включить Переводчик Skype».
  • Откройте контакт человека, которому хотите совершить вызов. Включите переводчик, нажав на иконку «глобуса», в выпадающем меню установите язык перевода для себя и для своего собеседника. Сделайте ваш первый звонок в Skype Translator!

Фото: компании-производители

ПОДЕЛИТЬСЯ


Предыдущая статьяТест смартфона Apple iPhone 7 Plus (32GB)
Следующая статьяПервый взгляд на стриминговый плеер Google Chromecast Ultra
КОММЕНТАРИИ



Загрузка...