Голосовые технологии давно перестали быть экспериментом и стали частью повседневной жизни. Мы диктуем сообщения вместо набора текста, просим голосового помощника поставить будильник, получаем автоматические субтитры во время видеоконференций и слушаем, как навигатор подсказывает маршрут. За всеми этими сценариями стоят две тесно связанные технологии: автоматическое распознавание речи (ASR, Automatic Speech Recognition) и синтез речи (TTS, Text-to-Speech).

Первая преобразует человеческую речь в текст, вторая выполняет обратную задачу — превращает текст в естественно звучащий голос. Вместе они образуют основу современных голосовых интерфейсов, позволяя человеку взаимодействовать с вычислительными системами привычным способом, без клавиатуры и мыши.

Разберёмся, как компьютер воспринимает человеческую речь, каким образом превращает её в текст и почему современные синтезированные голоса всё труднее отличить от настоящих.

Принципы работы компьютерного зрения подробно рассмотрены в статье «Компьютерное зрение: как ИИ распознаёт объекты».

Что такое ASR и TTS

Автоматическое распознавание речи (ASR) предназначено для преобразования звукового сигнала в текст. Именно эта технология используется при голосовом вводе, создании субтитров в реальном времени, расшифровке интервью, обработке телефонных разговоров и работе голосовых помощников.

Например, когда пользователь диктует сообщение в мессенджере, система принимает аудиосигнал, анализирует его и возвращает уже готовый текст, который можно отправить без ручного набора.

Синтез речи (TTS), наоборот, получает на вход текст и генерирует звуковую дорожку. Благодаря этому технологии способны озвучивать электронные книги, читать статьи, сопровождать работу навигационных систем, помогать людям с нарушениями зрения и формировать голосовые ответы цифровых ассистентов.

Во многих приложениях обе технологии работают последовательно. Пользователь произносит команду, ASR преобразует её в текст, система анализирует запрос, после чего TTS озвучивает подготовленный ответ. Для человека это выглядит как обычный разговор с устройством, хотя внутри выполняется сразу несколько сложных вычислительных процессов.

Как компьютер воспринимает звук

Человек слышит непрерывные колебания воздуха, однако компьютер не способен работать с ними напрямую. Чтобы звук можно было анализировать, его необходимо представить в цифровом виде.

Для этого аналоговый сигнал дискретизируется. Во время записи устройство измеряет амплитуду звуковой волны через равные промежутки времени и сохраняет последовательность числовых значений. Для обработки речи широко используется частота дискретизации 16 кГц, то есть сигнал измеряется шестнадцать тысяч раз в секунду.

Полученная последовательность чисел ещё недостаточно удобна для анализа. Поэтому следующим этапом становится преобразование сигнала в спектральное представление.

Наиболее часто используется мел-спектрограмма (Mel Spectrogram), которая показывает распределение энергии по различным частотам во времени и одновременно учитывает особенности человеческого слуха. Именно такое представление значительно удобнее для нейронных сетей, поскольку позволяет выделять устойчивые признаки отдельных звуков и слов.

Фактически и распознавание речи, и её синтез начинаются с одного и того же этапа: преобразования звукового сигнала в набор числовых признаков, пригодных для дальнейшей обработки алгоритмами машинного обучения.

Как работает распознавание речи

Современные системы ASR значительно отличаются от первых поколений распознавателей, которые пытались отдельно определить каждую фонему, а затем собрать из них слова.

Сегодня большинство решений строится по принципу end-to-end, когда одна нейронная сеть обучается сразу преобразовывать звуковой сигнал в последовательность слов. Для этого используются огромные наборы данных, включающие записи человеческой речи и их точные текстовые расшифровки.

Во время обучения модель постепенно начинает устанавливать связь между акустическими особенностями речи и соответствующими словами. При этом она анализирует не отдельные звуки, а целые фразы, учитывая их контекст.

Например, слово «лук» может обозначать как растение, так и оружие. По звучанию различить эти варианты невозможно, поэтому система обращается к языковой модели, которая оценивает вероятность появления каждого варианта в конкретном предложении. Если человек говорит: «Я купил зелёный лук», вероятность правильной интерпретации оказывается значительно выше, чем при анализе отдельного слова без контекста.

Современные модели способны не только распознавать текст, но и автоматически восстанавливать знаки препинания, делить длинную запись на предложения, определять смену говорящих (диаризация) и выделять отдельные реплики в разговоре нескольких участников.

Качество распознавания обычно оценивают с помощью показателя WER (Word Error Rate) — доли слов, которые система распознала неправильно. Чем ниже значение WER, тем выше точность модели. Для лучших современных систем при работе в благоприятных условиях эта величина может составлять всего несколько процентов, хотя при наличии шума, сильного акцента или нескольких одновременно говорящих людей количество ошибок заметно возрастает.

Как работает синтез речи

Если распознавание речи преобразует звук в текст, то синтез речи выполняет обратную задачу. На вход система получает обычный текст, а на выходе формирует звуковой сигнал, который максимально напоминает человеческую речь.

Первые системы синтеза строились по сравнительно простому принципу. Они хранили большую библиотеку заранее записанных звуков, слогов или слов и воспроизводили их в нужной последовательности. Такой подход позволял получать разборчивую речь, однако звучание оставалось механическим, а переходы между фрагментами были заметны.

Современные системы используют нейронные сети. Вместо соединения готовых записей они обучаются на большом количестве примеров живой речи и самостоятельно генерируют звуковую волну. Благодаря этому синтезированный голос звучит значительно естественнее, передавая интонацию, темп речи, паузы и эмоциональные оттенки.

Перед генерацией звука текст проходит несколько этапов обработки. Система определяет, как следует произносить числа, даты, сокращения и специальные символы, расставляет ударения и преобразует слова в последовательность фонем. Затем акустическая модель строит промежуточное представление, чаще всего мел-спектрограмму, а специальный модуль — вокодер — превращает её в полноценный звуковой сигнал.

Именно качество вокодера во многом определяет, насколько естественным будет голос. Современные нейросетевые решения позволяют добиться настолько высокой реалистичности, что отличить синтезированную речь от записи настоящего человека становится всё сложнее.

Отдельным направлением стало клонирование голоса (Voice Cloning). Если раньше для создания новой голосовой модели требовались десятки часов записи диктора, то современные алгоритмы способны воспроизвести особенности тембра по нескольким минутам речи. Это открывает широкие возможности для озвучивания контента, однако одновременно создаёт новые риски, связанные с подделкой личности.

Почему распознавание и синтез речи остаются сложными задачами

Для человека восприятие и воспроизведение речи кажутся естественными процессами, однако для компьютера они связаны с большим количеством неопределённостей.

При распознавании системе приходится учитывать фоновые шумы, эхо, качество микрофона, различия в темпе речи, акценты, индивидуальные особенности произношения и даже эмоциональное состояние говорящего. Дополнительную сложность создают слова, одинаковые по звучанию, но разные по смыслу. Их невозможно определить без анализа контекста.

Представим фразу «Он открыл замок». Только последующие слова позволяют понять, идёт ли речь о дверном замке или о средневековой крепости. Подобные неоднозначности встречаются практически во всех языках, поэтому современным системам приходится анализировать не отдельные слова, а целые предложения.

Синтез речи сталкивается с другими проблемами. Даже полностью правильное произношение ещё не делает голос естественным. Система должна правильно выбирать интонацию, расставлять смысловые акценты, выдерживать естественный ритм речи и делать паузы именно там, где их ожидает человек. Незначительная ошибка может сделать звучание неестественным или затруднить восприятие.

Отдельную сложность представляет поддержка разных языков. Каждый из них имеет собственную фонетику, особенности ударения и грамматики. Русский язык, например, отличается подвижным ударением и богатой системой словоизменения, поэтому модели приходится учитывать значительно больше вариантов произношения, чем при работе с некоторыми другими языками.

Где применяются речевые технологии

Сегодня распознавание и синтез речи используются практически во всех областях цифровых технологий.

ASR лежит в основе голосового ввода текста, автоматической расшифровки совещаний, субтитров в режиме реального времени, обработки обращений в контакт-центрах и голосовых помощников. Благодаря этой технологии можно быстро искать информацию в аудиозаписях, автоматически оформлять протоколы встреч или управлять устройствами без использования клавиатуры.

Синтез речи применяется не менее широко. Он используется в навигационных системах, электронных книгах, виртуальных ассистентах, образовательных приложениях и сервисах доступности для людей с нарушениями зрения. Всё чаще синтезированные голоса появляются и в корпоративных системах поддержки клиентов, где они заменяют заранее записанные голосовые сообщения.

Развитие больших языковых моделей сделало возможным создание полноценных голосовых ассистентов, которые способны не только понимать естественную речь, но и поддерживать длительный диалог, отвечая практически без заметной задержки.

Безопасность и вопросы доверия

По мере развития речевых технологий всё большее значение приобретают вопросы безопасности.

Современные модели способны достаточно точно копировать голос конкретного человека. Если злоумышленник располагает несколькими минутами записи, в некоторых случаях этого уже достаточно для создания убедительной голосовой имитации. Подобные технологии могут использоваться при мошеннических звонках, социальной инженерии или распространении ложной информации.

Поэтому голос больше нельзя рассматривать как надёжное подтверждение личности. Если знакомый человек неожиданно просит перевести деньги, сообщить конфиденциальную информацию или выполнить необычное действие, подобную просьбу разумно проверить через другой канал связи.

Не менее важен и вопрос конфиденциальности. Во многих сервисах обработка речи происходит на удалённых серверах, куда отправляется аудиозапись пользователя. Поэтому при выборе подобных решений стоит обращать внимание на политику обработки данных, сроки хранения записей и возможность выполнять распознавание непосредственно на устройстве.

Итог

Распознавание речи и синтез речи решают противоположные, но взаимодополняющие задачи. ASR превращает человеческую речь в текст, а TTS преобразует текст обратно в голос. Вместе эти технологии позволяют человеку взаимодействовать с компьютером наиболее естественным способом — с помощью обычного разговора.

Современные системы уже способны понимать речь с высокой точностью и генерировать голоса, практически неотличимые от человеческих. Благодаря этому голосовые интерфейсы постепенно становятся привычной частью мобильных устройств, автомобилей, бытовой техники и корпоративных сервисов.

Одновременно развитие этих технологий требует более внимательного отношения к вопросам безопасности и конфиденциальности. Понимание того, как работают ASR и TTS, помогает реалистично оценивать их возможности, понимать существующие ограничения и осознанно использовать голосовые технологии в повседневной жизни.